自信がないときにLLMに発言を控えさせる手法

   
★AIDB会員限定Discordを開設いたしました! 会員登録/ログインの上、マイページをご覧ください。
★コンサルティングサポート(調査・研修・開発支援)をご希望の方はお問合せください。

知識は常に変化するため、どんなにLLMの知識を拡張しようと、欠落や古くなった情報が残ってしまう可能性があります。

既存手法は自己分析能力に欠け、データセットへの過度の依存があることから、今回ワシントン大学やUCバークレーなどの研究者らはLLM同士が互いの知識を検証する手法を提案しました。

3つのLLM、4つの質問応答タスクで実施した実験により、ベースラインに対して最大19.3%の精度向上を確認しました。また検索強化における失敗事例の特定に役立つことも明らかになりました。


AIDBの全記事が読み放題のプレミアム会員登録はこちらから↓

参照論文情報

  • タイトル:Don’t Hallucinate, Abstain: Identifying LLM Knowledge Gaps via Multi-LLM Collaboration
  • 著者:Shangbin Feng, Weijia Shi, Yike Wang, Wenxuan Ding, Vidhisha Balachandran, Yulia Tsvetkov
  • 所属:ワシントン大学, カリフォルニア大学バークレー校, 香港科技大学, カーネギーメロン大学
  • URL:https://doi.org/10.48550/arXiv.2402.00367

背景

LLMは膨大な知識を保有していますが、知識が欠落していたりそもそも不正確な場合、誤った回答を生成してしまう恐れがあります。そんな事態を防ぐため、信頼度の低い回答は控える(abstainする)機能がLLMに必要だと考えられています。

そこで課題は、LLMが自身の知識不足をどのように特定できるのか、ということです。

既存の手法は、多くの場合、外部データや、LLMが自身を客観的に評価できるという仮定(過度な信頼)に依存しており、必ずしも正確な判断ができない場合があります。

そこで今回研究者らは、LLMが自身の知識不足を認識し、回答を控える(abstainする)手法を提案しています。LLMが自身の限界を認識し、誤解を招く情報を生成することを避けることで、システムの信頼性を上げることにつながります。

これまでの研究事例

1. キャリブレーションベースのアプローチ

LLMから信頼スコアを抽出し、その不確実さを評価するものです。問題点は、知識領域や推論状況によってキャリブレーションの品質が異なること、そしてデータセットへの依存が一般化を妨げることです。

2. プロンプティングベースのアプローチ

LLMに指示を与え、自己反省を促すもの。

問題点としては、LLMが単純なプロンプティングで自己反省できるかは不明であること(元も子もないですね)虚偽の相関の影響を受ける可能性があることです。

3. トレーニングベースのアプローチ

訓練を通して、LLMに不確実さを認識させたり回答を控える能力を与えるもの。

問題点としては、LLMの微調整に多大な計算資源が必要であること、そして訓練データのパターンや例に依存するため、一般化が難しいことです。

4. その他

LLMの隠れ表現を調べる研究や、指示の調整と整合性によるLLMの改善研究などがあります。

プロンプティングベースの手法の詳細

本記事を読むにはAIDBのアカウントが必要です。


※ログイン/初回登録後、下記ボタンを押してください。







■サポートのお願い
AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。






業界/カテゴリー

PAGE TOP