LLMの出力が信頼できるかを判定する手法 Google DeepMindが新しく考案

   
★AIDB会員限定Discordを開設いたしました! ログインの上、マイページをご覧ください。

★企業と人材のマッチングサービスを準備中です。アンケートのご協力をお願いいたします!↓

Google DeepMindの研究者らは、LLMの「不確実性」について調べています。簡単に言うと、モデルが質問に対してどの程度自信を持って答えているかを見極める方法を探っています。


AIDBの全記事が読み放題のプレミアム会員登録はこちらから↓

参照論文情報

  • タイトル:To Believe or Not to Believe Your LLM
  • 著者:Yasin Abbasi Yadkori, Ilja Kuzborskij, András György, Csaba Szepesvári
  • 所属:Google DeepMind

背景

LLMが出力する内容は常に正しいとは限らず、時には「幻覚(ハルシネーション)」と呼ばれる事実と異なる内容を生成してしまうことがあります。

LLMの予測における不確かさには2種類があります。1つは、言語や事実に関する知識の欠如による「認識論的不確かさ」で、もう1つは、同じ質問に対して複数の正解が存在する場合の避けられないランダム性による「偶発的不確かさ」です。LLMの予測の正確さを評価するためには、この2種類の不確かさを区別する必要があります。

しかし従来の不確かさの定量化手法には限界があり、不確かさの区別ができません。

今回研究者らは、認識論的不確かさと偶発的不確かさを切り分け、LLMが自身のパラメータに蓄えられた知識に自信があるのかどうかを判別する手法を考案しています。

本記事を読むにはAIDBのアカウントが必要です。


※ログイン/初回登録後、下記ボタンを押してください。







■サポートのお願い
AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。






業界/カテゴリー

PAGE TOP