LLMは長文要約の最後に幻覚を見る

LLMに文書の要約をさせると、要約文の後半になるにつれて、元の文書にはない内容を作り出してしまう傾向があることが明らかにされました。

これは「最後に幻覚を見る（Hallucinate at the Last）」現象と名付けられました。
800語以上の要約を作らせると、この問題が顕著に現れ、短い要約ではそれほど目立たないそうです。

なぜこうなるかというと、AIが文章を生成していく過程でだんだん元の資料ではなく自分の書いた文章を見て続きを書こうとするようになるから、とのこと。

この現象は、入力する文書自体が短くても長くても起こりますし、ニュース記事でも学術論文でも政府レポートでも、どんな分野の文書でも同じように発生します。

この問題を改善するには、長い文書を小さな塊に分けて、それぞれを個別に要約してから最後にまとめるという手法がかなり有効のようです。
しかし、これは根本的な解決策ではなく、今後さらなる研究が必要とのことです。

（新しく登場した拡散モデルベースのLLMでは同様の問題が起きない可能性もあります。）