ロングコンテキストLLM台頭の今もRAGを使用する理由

この記事では、LLMが長い文章を理解できる時代においてもRAG（検索拡張生成）がどれほど役立つかを改めて調べた研究を紹介します。

研究チームは、検索で見つける情報の「量」と「品質」の関係が、ひっくり返したU字のような形になることを見つけました（どういう意味かわからない方は後述の説明をご覧ください）。

LLMは日進月歩で発展し、最近では長い文章を理解する能力が強くなってきました。GPT-4oやClaude-3.5、Llama3.1などの新しいモデルは、128,000語もの長い文章を扱えます。さらに、Gemini-1.5-proは100万語もの文章を一度に処理できます。

この発展の影響で、RAGが本当に必要なのか疑問視されるようになってきました。RAGは、LLMが短い文章しか扱えなかった頃（例えば4,096語まで）には特に、多くの情報を扱うために欠かせない方法でした。

最近の調べでは、長い文章を理解できるLLMの方がRAGよりも良い答えを出す場合があることが分かっています。

しかし今回NVIDIAの研究者らは、「LLMに長すぎる文章を与えると、かえって大切な情報を見逃して、答えの質が下がるかもしれない」と考えました。つまり、ただ長い文章を与えれば良いわけではなく、必要な情報をうまく探して、的確に使うことの方が大切なのではないかと考えたのです。

こうした理由から、長い文章を扱う時のRAGの役立ち方を、もう一度よく調べる必要が出てきました。そして、検索した文章の順番を保ったまま使う新しいRAGの仕組みを作ることで、長い文章を扱うLLMの問題点を解決できるのではないかと考えられました。

この研究は、急速に進歩するLLM技術の中で、情報をうまく探して、的確に使うことの大切さを見直し、RAGの新しい可能性を探ることを目指しています。長い文章を理解できるLLMの時代でも、しっかりと設計されたRAGシステムが重要な役割を果たせる可能性を示すことが、この研究の目的となっています。

以下で実験内容と結果を詳しく紹介します。