LLMは、訓練データに誤りがない理想的な状態であってもハルシネーション（誤り）を出力する可能性があることが報告されました。
ただし訓練データに1度だけ現れる事実に対して発生し、複数回現れる事実に対しては幻覚が出る統計的な理由はないとのことです。
Microsoftとジョージア工科大の研究者らによる発表です。
@ Adam Tauman Kalai “Calibrated Language Models Must Hallucinate”
LLMのハルシネーション（幻覚）は、複数の分野（例：特に法律や医療など）で問題につながる恐れがあり、対策が求められています。
幻覚に対してはさまざまな仮説と実験が行われていますが、研究者らは新たに「理想的な環境」における幻覚を検証しています。
■研究のポイント
トレーニングデータが完璧でゼロショットな場合においても幻覚は発生するのか？という問い
■幻覚の理由に対するこれまでの仮説例
① 不正確なトレーニングデータ
② 時が経って誤りになってしまったデータ
③ 次の単語の予測精度（対数尤度目標）
■実験
① 独立サンプリングの文書データでLLMを訓練
② ゼロショットの出力に対して幻覚を検証
③ 訓練データに含まれない未知の事実を観測した
■結論
① 訓練データに1度だけ現れる事実には幻覚が発生する
② 複数回現れる事実に対しては幻覚が出る理由はない
③ トレーニング方法に関わらず理想的な環境でも幻覚が発生することがある
研究者らは、幻覚の削減に向けて、訓練データの品質改善、アーキテクチャとアルゴリズムの研究を提案しています。
ただし、本研究はあくまで理想的な環境についての実験が行われており、実際の環境においてはやはり複数の要因が幻覚に影響していると考えられます。
