長い文書をそのまま処理するとコストも遅延も膨らむため、LLMでいったん要約してから別のモデルや人に渡す。エージェントやRAGの設計では、もはや定番の構成です。そして要約の品質確認といえば、事実誤認や幻覚がないかのチェックを思い浮かべる方が多いはずです。おそらく、かなり多いのではないでしょうか。
たとえば、ある企業の四半期報告をLLMに箇条書きへ圧縮させたとします。売上の数字も経営陣の発言も正確に残っていて、読み返しても誤りは見つかりません。ところが、その要約を読んだ担当者は、原文を読んだ場合とは逆の判断を下してしまいました。数字は合っているのに、判断だけが変わる。こうした現象がどれほどの頻度で起き、なぜ起きるのかを、実際の企業開示文書を使って体系的に測った検証があります。LLMを使って何かを要約した経験がある方は全員関係のある話です。
本記事では、要約が下流の判断を歪めるメカニズムと、判断を保ったまま圧縮するための具体的な設計方法を紹介します。ぜひご覧ください。
