LLMの「知っているのに嘘をつく」幻覚と「知らないから間違える」幻覚の違い

本記事では、LLMが示す「幻覚（ハルシネーション）」という現象についての新しい研究を紹介します。幻覚とは、一般的に、LLMが事実とは異なる情報を出力してしまうこと全般を指します。

LLMの幻覚はよく一括りにされますが、実際には「知識がないための幻覚」と「知識があるのに起こる幻覚」という2つの異なるタイプが存在します。今回、これらの詳しい調査が行われました。

幻覚の対策方法を練る上でも、仕組みを理解することは重要な意味を持ちます。

背景

LLMは便利なツールとして注目されていますが、事実と異なる情報を生成してしまう「幻覚」という問題を抱えています。この幻覚には実は2種類あることが分かってきました。

1つ目は、モデルがそもそも正しい知識を持っていないために起こる幻覚です。

2つ目は、モデルは正しい知識を持っているのに、質問の仕方や文脈によって間違った回答をしてしまう幻覚です。

これまでの研究では、この2種類の幻覚は区別せずに扱われることがよくありました。しかし、両者は実は全く異なる原因から生じているため、それぞれに適した対処方法が必要です。
もしLLMに正しい知識がない場合は、外部の情報源に頼るか回答を控える必要があります。一方、知識はあるのに間違った回答をする場合は、モデルの内部で適切な処理を行えば正しい回答を引き出せる可能性があります。

さらに、これまでは幻覚の検出や緩和を試みる際に汎用的なデータセットが使用されてきました。しかし、各言語モデルは独自の知識構造と幻覚パターンを持っているため、汎用的なアプローチでは限界があります。例えば、あるモデルでは正しく回答できる質問でも、別のモデルでは幻覚を起こしてしまうことがあります。そのため、各モデルの特性に合わせた「モデル固有のデータセット」を活用することが、より効果的な幻覚への対処につながる可能性があります。

このような課題認識から、研究者らは幻覚の2つの種類を適切に区別し、かつ各モデルの特性を考慮した分析手法の確立を目指して詳細な調査を行いました。