LLMのハルシネーションは4種類　どれかを直そうとすると別の何かが悪化する

契約書を要約させたら、なぜか2年前の版を前提にした答えが返ってくる。数字の根拠を聞くと、存在しないページを引用してくる。JSONで返すよう指示したのに、微妙にキーが足りない。

こうした「AIの変な挙動」はまとめてハルシネーションと呼ばれることが多いのですが、手の打ち方を考え始めると困ったことに気づきます。プロンプトを書き直す、外部検索を足す、モデルを乗り換える、思い切ってファインチューニングと、選択肢はいくつも浮かびます。しかしどれを選んでも空振りすることがあります。原因と対処がずれているからです。

ハルシネーションには型があります。型を見分けずに対策を打つと、片方が直って別の何かが崩れる。本記事では、失敗を4つに仕分けて、どこから手をつけるかを決めるための考え方を紹介します。

ハルシネーションには4つのパターンがある