最新のLLMは、数十万トークン、場合によっては百万トークン以上の長い文章を処理できると謳われています。しかし実際のところ、長い文章を入れると期待したほどの精度が出ないという問題が、多くの現場で観察されてきました。その理由は何なのか。そして、精度を改善するための工夫とは？綿密な実験に裏付けられた提案を見ていきましょう。

背景

最近のLLMは、一度に処理できる文章の長さがどんどん長くなってきています。例えば、Claudeは20万トークン以上、つまり本数冊分の文章を一度に読み込めますし、Geminiというモデルに至っては百万トークンを扱えると報告されています。ちなみにトークンというのは、だいたい単語の一部や単語そのものに相当する単位です。

LLMが長い文章を処理できるようになったことで、ユーザーは大きな期待を抱きました。複数の本にまたがる情報を統合したり、プログラムのコード全体を理解したり、長時間の会話履歴を把握したりできるのではないかと考えたわけです。しかし実際には、長い文章を読み込めることと、その文章を使って問題を解決できることは、必ずしもイコールではないということが分かってきました。

つまり、”仕様上”長い文章を扱えるからといって、本当に長い文章をいれても、精度が良くない場合があるのです。

この問題について、原因が考えられてきました。そして「LLMが長い文章の中から必要な情報を見つけ出せないから、問題が解けないのだ」と推測されてきました。

しかし、実際のところは少し事情が違いそうです。

以下ではLLMの長文脈処理で精度が落ちる原因の詳しい分析と、実際に有効さが確かめられた対策案について取り上げていきます。