モデルとデータの大規模化で変化するLLMのハルシネーション

LLMはどんどん賢くなっていますが、「ハルシネーション」の問題はまだあります。LLMが生成する”事実と異なる情報”は一見正しそうに見えるため、影響を考慮すると解決するのが望ましいとされています。

LLMの性能向上に関しては「スケーリング則」という経験則が知られており、データセットやモデルのサイズが大きくなるにつれてLLMの性能が向上するという法則です。つまり「大きくすればするほど良くなる」という考え方です。しかし、ハルシネーションがスケールにどう依存するかについては、まだ十分に理解されていません。

ハルシネーションにはさまざまな種類があり、皆が「これがハルシネーションだ」と言える定義はありません。そこで今回研究者らは「正しい答えが学習データにそのまま書いてある場合」だけを調べました。それがハルシネーションを最も正確に検出する手段だからです。

なお、普通の文章だとどんな知識が入っているかを正確に知るのは難しいという問題があります。そのため研究者らは、「ナレッジグラフ」というデータの形式を使用して実験を行いました。ナレッジグラフなら、どんな事実が入っているかを完全にコントロールでき、LLMが言ったことが本当にデータの中にあるかどうかを簡単に確認できます。そのためナレッジグラフを使ってLLMを訓練すれば、LLMが学習データをどれくらい間違って覚えているか、そしてLLMの大きさによってそれがどう変わるかを調べられます。

このようにして、LLMのハルシネーションと大きさの関係について今までよりもっとよく分かるようになると期待された研究が行われました。詳しい研究アプローチや実験結果は以下で紹介します。