本記事では、LLMにユーザー個別の応答能力を実装する研究を紹介します。
現在のLLMは性能向上のために膨大な計算資源が投入されていますが、個々のユーザーの特性や変化に十分対応できていないという課題が指摘されています。
そこで今回研究者らは、生涯にわたるパーソナライズという新しい課題に取り組むことにしました。
背景
LLMの分野では、モデルの能力向上のためにデータと計算資源を大量に投入することが一般的なアプローチとして確立されてきました。膨大なGPUとコストがこの目的のために使用されています。
しかし、モデルの性能向上だけではユーザー体験の質の向上は保証されないという重要な課題が浮き彫りになっています。たとえば「夕食のレストランを予約して」という簡単な依頼に対して満足のいく回答を生成するためには、ユーザーの居住地、予定、経済状況、好みなど、多岐にわたる個人情報が必要不可欠です。
加えて、ユーザーの性格、意図、嗜好などは時間とともに変化していくため、モデルがこれらの変化に継続的に適応できる仕組みが求められます。
現状のパーソナライズ手法には大きく2つの課題があります。1つ目は、ユーザーごとにモデル全体または一部を再学習すること。しかし、この方法を数百万人規模のユーザーに対してスケールすることは難しいです。2つ目は、長期的な会話履歴を活用しようとすること。これは、入力長の制約がボトルネックになります。
また、パーソナライズの研究を進める上で、現実的なデータの不足も大きな課題となっています。既存のベンチマークは公開データセットを使用していますが、これらは真のパーソナライズを評価するには不十分です。
そこで今回研究者らは、生涯にわたるパーソナライズという新しい課題に取り組み、現実的なデータ生成の仕組みと包括的な評価基準を確立することにしました。
