LLMの「心の理論」の能力を向上させる、心理学インスパイアのプロンプト手法が考案されました。
メタ認知によって、予測と現実の差から学ぶことが重要とのことです。
外部メモリーと連携させて能力を向上させ続けることも理論的には可能性があります。
@ Courtland Leer et al., “Violation of Expectation via Metacognitive Prompting Reduces Theory of Mind Prediction Error in Large Language Models”
「心の理論（Theory of Mind）」の能力は、LLMが高度なタスクに取り組む上で鍵となるファクターの一つです。
しかし最大限に向上させる＆活用するメソッドはまだ十分に調べられていません。
そんな中、今回研究者らは、心理学における「Violation of Expectation（期待違反）：VoE」理論を適用するテクニックを提案しています。
■「Violation of Expectation（期待違反）」理論とは
① 認知心理学や発達心理学で用いられる概念
② 期待と実際の出来事とのギャップに注目する
③ ギャップをもとに情報処理や認知の調整を促す
④ メタ認知の一種
■VoEを適用する本メソッドのフレームワーク
① まず、ユーザーの心の状態や次に何をするかについての初期予測を生成させる
② 次に、ユーザーの実際の行動や発言と比較し、その差異（エラー）を分析させる
③ 分析結果を基に、次の推論をより高度に行わせる
（④ 分析結果を外部メモリーに保存し活用する）
■実行プロンプト例
※論文をもとに日本語で具体化したものです。
（あらかじめ分析させたい状況をシェアした上で、）
ユーザー：〇〇（人）は現在どのような心の状態にありますか？
LLM：〜〜〜
ユーザー：ユーザーは次に何を/どのように〇〇（発言/行動）する可能性がありますか？
LLM：〜〜〜
ユーザー：実際には〇〇でした。予測と実際の入力との差は何ですか？エラーがあれば、それは何ですか？
LLM：〜〜〜
ユーザー：予測を改善するためには、どのような追加情報が必要ですか？
■効果検証結果
研究者らは、本メソッドの効果を実験で検証しました。
① オープンソースLLM「Bloom」を用いてA/Bテストを実施
② VoEに基づくメタ認知的プロンプトを用いる場合と用いない場合を比較
③ 実験群では、予測エラーが有意に減少した
④ 「やや」正確な予測が51%増加した
■主な結論と注意点
① 本メソッドは、LLMのユーザーに対する予測精度を向上させる効果が確認された
② ユーザーのデータは「心の理論」において非常に強力なリソースとなる
③ 一方で、管理と使用には責任が伴う
④ 本手法は挑戦的で新しいものである
⑤ ユーザーごとに心理は多岐にわたるため包括的な評価手法が必要
