コンテキスト内で重要な情報同士が離れすぎるとLLMの性能は大幅に下がる

本記事では、LLMの長文理解における「情報間の距離」の問題について紹介します。

最近のLLMは20万単語を超える長い文章も処理できるようになりましたが、それに伴い新たな課題も見えてきました。例えば、業務でよくある「複数の重要情報を組み合わせて分析する」ようなケースでは、情報同士の距離が離れすぎると上手く処理できないことが新たに判明しています。

この点を解明すべく、研究チームは「LONGPIBENCH」という新しいベンチマークを作成し、調査を行いました。

背景

最近のLLMは、コードの分析や情報抽出など、長い文章を処理する必要がある場面で活用されています。そのような需要もあり、20万単語以上の長い文章も扱えるように改良が進められてきました。

ただし、LLMには「情報の位置」に関する課題があることがわかってきました。例えば、大量の文章の中から重要な情報を見つけ出す課題では、文章の真ん中にある情報を上手く活用できない「真ん中で迷子になる」といった問題が報告されていました。

しかし、実際の業務では、1つではなく複数の重要な情報を組み合わせる必要があります。例えば、データ分析では、複数の重要なデータポイントを組み合わせて考察する必要があります。複数の情報を扱う場合、以下の2つの要素が重要になります。

1. 情報が文章全体の中でどこにあるかの「絶対的な位置」（前半、真ん中、後半など）
2. 重要な情報同士がどれくらい離れているかの「相対的な位置」

これまでの研究では、1つの情報の「絶対的な位置」のみが注目されており、複数の情報を扱う際の「相対的な位置」の影響は、あまり研究されていませんでした。

そこで研究チームは、この「情報の位置」による影響を総合的に評価できる新しいベンチマーク「LONGPIBENCH」を作成し、LLMの性能を詳しく調査することにしました。

その結果、LLMへのプロンプトでは「質問文を文章の最初に置くだけで」理解力が大幅に向上することなど実用上における重要な示唆も得られています。長い文章を扱う場合、この単純な工夫が特に効果的とのこと。

以下で研究内容や実験結果全体を詳しく紹介します。