生涯にわたりユーザーに寄り添いパーソナライズし続けるAIアシスタントの設計

LLMの分野では、モデルの能力向上のためにデータと計算資源を大量に投入することが一般的なアプローチとして確立されてきました。膨大なGPUとコストがこの目的のために使用されています。

しかし、モデルの性能向上だけではユーザー体験の質の向上は保証されないという重要な課題が浮き彫りになっています。たとえば「夕食のレストランを予約して」という簡単な依頼に対して満足のいく回答を生成するためには、ユーザーの居住地、予定、経済状況、好みなど、多岐にわたる個人情報が必要不可欠です。

加えて、ユーザーの性格、意図、嗜好などは時間とともに変化していくため、モデルがこれらの変化に継続的に適応できる仕組みが求められます。

現状のパーソナライズ手法には大きく2つの課題があります。1つ目は、ユーザーごとにモデル全体または一部を再学習すること。しかし、この方法を数百万人規模のユーザーに対してスケールすることは難しいです。2つ目は、長期的な会話履歴を活用しようとすること。これは、入力長の制約がボトルネックになります。

また、パーソナライズの研究を進める上で、現実的なデータの不足も大きな課題となっています。既存のベンチマークは公開データセットを使用していますが、これらは真のパーソナライズを評価するには不十分です。

そこで今回研究者らは、生涯にわたるパーソナライズという新しい課題に取り組み、現実的なデータ生成の仕組みと包括的な評価基準を確立することにしました。

生涯型パーソナライズ化への取り組み

研究者らは生涯にわたるパーソナライズ化という課題を明確に定義し、「AI PERSONA」フレームワークを提案しました。評価のためのベンチマーク「PERSONABENCH」も同時に開発されています。

タスク定義の確立

従来のパーソナライズ化は過去のデータに基づく静的なプロファイルを使用していましたが、実世界でのユーザーの属性や好みは常に変化します。

そこで研究者らはユーザープロファイルを、学習可能な辞書として再定義しました。辞書のキーには人口統計や性格などの項目が、値にはユーザーの個人情報が格納されます。

システムはユーザーとの継続的なやりとりを通じて、プロファイルを動的に更新します。更新には事前学習済みモデルが活用され、プロンプトを通じた適応的な学習が行われます。

データ生成の仕組み

実在のユーザーデータを収集することは困難であるため、研究者らは独自のデータ生成の仕組みを構築しました。

プロファイル（ペルソナ）の生成方法

プロファイルには以下4種類の情報が含まれます。

1. まず人口統計として年齢や職業などの基本情報
2. 次に性格としてMBTIタイプや興味など
3. 使用パターンとしてシステムとの関わり方
4. 好みとして対話スタイルなど

LLM製品を日常的に使用している様々な背景を持つボランティアからデータを収集し、基礎となるプロファイルが作成されました。収集したプロファイルは要約され、新たなプロファイル生成の参考データとして活用されています。

シーンの生成プロセス

ユーザーの質問を現実的に生成するため、詳細なコンテキスト情報が用意されました。たとえば就職活動のシーンであれば、面接対策や企業研究など具体的な文脈情報が付加されます。さらに実際のAPIの呼び出しもシミュレートされ、タスク実行の支援が可能になりました。

質問生成の実装

ユーザーシミュレータ（下記プロンプトでLLMが駆動）がペルソナとシーンの情報に基づいて質問を生成します。生成された質問は、回答不能なものや無意味なものが除外されます。また、ペルソナの特徴が直接的に表れないよう中立的な表現に調整されます。

フレームワークの構造

研究者らが開発したフレームワークは3つの主要な要素で構成されています。

「履歴セッションマネージャー」

会話履歴を管理します。複数のユーザーとの会話を長期的に保存し、コンテキストの維持を担当します。システムが過去の文脈を考慮しながら応答できるよう支援します。

「ツールエグゼキュータ」

外部APIの実行をシミュレートします。パーソナライズされたチャットボットからの要求を解釈し、事前に定義されたAPI仕様に基づいて適切な応答を生成します。

「パーソナライズドチャットボット」

ユーザーペルソナに基づいて応答を生成します。ユーザーの変化に応じてプロファイルを更新し、必要に応じて外部APIを呼び出すことができます。

フレームワークの動作は5段階で進みます。

1. まずペルソナとセッションが初期化されます。
2. 次に質問と応答が生成されます。
3. その後ツールの実行と情報の統合が行われます。
4. 事前に用意された理想的な応答と比較され満足度が評価されます。
5. 最後にユーザー情報の更新と会話履歴の保存が実行されます。

以上の段階を経ることで、一貫性のあるパーソナライズされた対話が実現されるとのことです。

なお、「満足度の評価」においては下記が使用されます。

実験内容と結果

研究者らは「AI PERSONA」フレームワークの性能を検証するため、広範な実験を実施しました。

実験の基本設定

実験用のベンチマーク「PERSONABENCH」には200種類のユーザープロファイルが用意されました。各プロファイルに対して、一般的な対話シーンと個別の対話シーンが10種類ずつ設定されています。各プロファイルから3～5の異なるシーンが無作為に選ばれ、シーンの詳細情報や機能呼び出しなどが生成されました。同じトピックについて時間をおいて質問するという現実的な状況が再現されています。

比較対象として3つの基準モデルが設定されました。

1. ユーザー情報を全く参照せずに応答を生成するモデル
2. 正解のユーザー情報を完全に参照できるモデル。理想的な性能の上限を示す
3. 過去の類似会話を参照できるモデル

評価基準は3つ設けられました。

1つ目は「ペルソナ満足度」で、応答の質とユーザー情報との整合性がLLMによって評価されます。ユーザーの意図をすぐに理解できているかが測定されます。

2つ目は「プロファイル類似度」で、生成されたユーザープロファイルと正解データがどれだけ似ているかが比較されます。

3つ目は「対話効率」で、目的達成までに必要な対話回数が計測されます。

実験には複数のLLMが使用され、公平な比較のため同一のプロンプトが用いられました。フレームワークの堅牢性を確認するため、ほとんどのモデルでは10のプロファイルでテストが行われ、一部のモデルではすべてのプロファイルでテストが実施されました。

主な実験結果

正解のユーザー情報を参照できるモデル（ゴールデンペルソナ）が最高スコアを記録し、応答の有用性で8.34点、パーソナライズ度で7.78点を達成しました。ユーザー情報を参照しないモデルはベースラインとして機能し、過去の会話を参照するモデルはわずかな改善を示しましたが、対話効率は低下しました。過去の会話を参照するモデルでは、ユーザーの意図を誤解して混乱を招くケースが見られました。

研究者らが開発したフレームワークでは、更新頻度を変えて実験が行われました。3回の会話ごとにユーザー情報を更新する設定が最も効果的で、有用性スコア8.29、パーソナライズ度7.63と、正解データを参照するモデルに近い性能を示しました。他の更新頻度でも、ベースラインを上回る結果が得られています。

対話効率の面でも、3回ごとの更新が最も優れた結果を示し、ユーザーの意図に沿った簡潔な応答が可能になりました。プロファイルの類似度でも、同じく3回ごとの更新が6.07点と最高スコアを記録しました。一方で、更新頻度を上げすぎても（1回ごと）、更新間隔を空けすぎても（5回ごと）、学習効果は低下することが判明しました。

時系列での性能変化を見ると、開発されたフレームワークは対話を重ねるごとに性能が向上し、約10回の更新で正解データ参照モデルに近い性能に達しました。セッション数が増えるにつれて、フレームワークの応答が選ばれる割合も増加していきました。

さまざまなモデルでの性能比較

複数のLLMで実験が実施され、中でもGPT-4やGemini-1.5-proで特に高い適応性が確認されました。すべてのモデルでパーソナライズ機能による性能向上が見られましたが、モデルによって改善度には差が生じました。

研究者らのフレームワークは、各モデルのベースライン性能と比較して明確な改善を示しています。パーソナライズされた応答の品質向上だけでなく、対話の効率化も実現されました。モデル間の性能差は存在するものの、どのモデルでもパーソナライズ機能の追加による恩恵が確認されています。

パーソナライズ機能の学習過程

時系列データの分析からは、興味深い学習パターンが浮かび上がりました。ユーザー情報を参照しないモデルと比較して、開発されたフレームワークは対話を重ねるごとに必要な発話回数が減少していきます。標準偏差も時間とともに小さくなり、応答の安定性が向上していることが示されました。

実験結果全体を通して、研究者らのフレームワークは以下の点で優れた性能を示しています。

• ユーザー情報の動的な更新が効果的に機能すること
• 適切な更新頻度の設定が重要であること
• 継続的な学習による性能向上が実現できること
• 様々なモデルに適用可能であること

まとめ

本記事では、LLMに生涯学習的なパーソナライズ機能を実装する研究を紹介しました。研究チームは再学習を必要としない動的な適応フレームワーク「AI PERSONA」を開発し、多様な状況でその有効性を実証しています。将来的に他言語や文化的背景への応用が期待される意欲的な取り組みと言えます。