Google DeepMindの研究者らは、LLMの「不確実性」について調べています。簡単に言うと、モデルが質問に対してどの程度自信を持って答えているかを見極める方法を探っています。

背景

LLMが出力する内容は常に正しいとは限らず、時には「幻覚（ハルシネーション）」と呼ばれる事実と異なる内容を生成してしまうことがあります。

LLMの予測における不確かさには2種類があります。1つは、言語や事実に関する知識の欠如による「認識論的不確かさ」で、もう1つは、同じ質問に対して複数の正解が存在する場合の避けられないランダム性による「偶発的不確かさ」です。LLMの予測の正確さを評価するためには、この2種類の不確かさを区別する必要があります。

しかし従来の不確かさの定量化手法には限界があり、不確かさの区別ができません。

今回研究者らは、認識論的不確かさと偶発的不確かさを切り分け、LLMが自身のパラメータに蓄えられた知識に自信があるのかどうかを判別する手法を考案しています。