LLMに「自信の度合いに応じて説明のニュアンスを変更させる」ことで人間が過度に信頼するのを防ぐ

   
★AIDB会員限定Discordを開設いたしました! 会員登録/ログインの上、マイページをご覧ください。
★コンサルティングサポート(調査・研修・開発支援)をご希望の方はお問合せください。

人間はLLMによる説明の正確さを過大評価する傾向がある(つまり信頼しすぎてしまう)ことが実験で示唆されています。

そこで研究者らは、LLMに「自信の度合いに応じて説明のニュアンスを変更させる」ことの有効性を提案しています。

カリフォルニア大学のコンピュータサイエンスと認知科学で構成された研究グループによる報告です。


AIDBの全記事が読み放題のプレミアム会員登録はこちらから↓

参照論文情報

  • タイトル:The Calibration Gap between Model and Human Confidence in Large Language Models
  • 著者:Mark Steyvers, Heliodoro Tejeda, Aakriti Kumar, Catarina Belem, Sheer Karny, Xinyue Hu, Lukas Mayer, Padhraic Smyth
  • 所属:カリフォルニア大学アーバイン校
  • URL:https://doi.org/10.48550/arXiv.2401.13835

LLMの自信とユーザーからの信頼にギャップがある

LLMは、説得力のある出力を生成しますが、実際には不正確なもの、あるいは不明瞭な情報を含む場合があります。この点は、実用における懸念となっています。

実際にOpenAIなどLLMの開発会社からも、モデルの出力を手放しには受け入れないように注意喚起されています。現状は、モデルが常に100%の自信をもってユーザーの質問に対応しているわけではないということです。

一方で最近の研究では、LLMは自分の知識の限界をある程度識別する能力があることが示されています。例えば複数選択問題に対して、モデルが自身の選択した回答の正解確率がどれほどであるかを答えられることが検証されています。また、回答可能な質問と回答不可能な質問を区別できることや、内部状態が真実と嘘を区別できることが示されています。
上記の報告から、LLMは自分の認識をある程度内部で反省することができるのではないかという仮説が立てられています。

しかし、実際の質問応答シーンでは、ユーザーの目の前に提示されるモデルからの回答において、情報に対する自身の度合いは一般的に表示されていません。

では、LLMの出力に対して人間はどの程度信頼を寄せているのでしょうか?その問題に対して、まだ研究が進んでいません。そこで研究者らは、LLMが実際に認識している自身の出力に対する自信の度合いと、ユーザーが感じている信頼性の間にあるギャップに着目しました。

そして、下記2つの研究テーマを設定しました。

  1. LLMの自信と人間の信頼性の間にあるギャップはどのくらい大きいか?
  2. ギャップを小さくすることはできるか?

具体的な取り組みとしては、質問応答において、人間がLLMの信頼性を直接評価する実験手法とデータセットを作成しています。次に、自信のギャップを小さくするような出力の生成方法をテストし提案しています。






実験の方法論

本研究では、

本記事を読むにはAIDBのアカウントが必要です。


※ログイン/初回登録後、下記ボタンを押してください。







■サポートのお願い
AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。






業界/カテゴリー

PAGE TOP