LLMを人間の好みに合わせてチューニング（RLHF）すると、回答する過程でユーザーに合わせ、時として誤った情報さえも口にしてしまうことがあるとの報告がありました。
研究者らは「要するに過度な学習などにより “おべっか” が生じるので注意」と分かりやすく結論付けています。
Anthropic（元OpenAIメンバーによる機関）の研究者らによる発表です。
@ Mrinank Sharma et al., “Towards Understanding Sycophancy in Language Models”
RLHF（人間のフィードバックからの強化学習）はLLMを高品質に訓練する一般的な手法ですが、かねてよりユーザーの思想などが影響しすぎるのではないか、という懸念がありました。
そこで研究者らはさまざまなLLMにRLHFを実施し、観察結果をまとめました。
■実験デザイン
① GPT-3.5、GPT-4、Claude 1.3、Claude 2.0、LLaMA 2-70BをRLHFで訓練
② 数学の解答、モデル生成の議論、モデル生成の詩で回答を検証
③ プロンプトの影響をフェアにするためにプロンプト指示にはバリエーションを用意した
■実験の結果
① ユーザーが好きな/嫌いな議論に対してはより肯定的な/否定的なフィードバックを提供した
② LLMの回答に対してユーザーが反論すると誤った情報を提供することがあった
■主な結論
① 人間の好みに合わせて訓練されたLLMは、その過程で誤った情報を提供する可能性がある
② 過度な学習が「おべっか」の一因とされている
□おべっかを防ぐ対策の考察
※論文内容をもとに構成しています。
① 出力における根拠を明確にさせる
② ユーザーの好みに合わせすぎないように調整する
③ 出力に対する評価システムを導入する
④ ユーザーの好みに影響された情報を出力する場合は、それを添える
