RAGにおいて長文を検索することで一気に効率を上げるアプローチ

RAGには、膨大なデータの中から関連性のある短い文章を探し出すのが難しいという課題があります。そんな中、研究者らは、より大きな「塊」で情報を探すことで、検索の効率を劇的に向上させる手法を考案しました。

背景

外部知識を活用してLLMの能力を拡張する「検索拡張生成（RAG）」が注目を集めています。質問に関連する情報を外部データベースから検索し、情報をLLMに与えることで、より正確で適切な回答を生成する手法です。

RAGシステムでは、短い文章（例えば通常100語程度）を検索単位として使用することが多いです。しかしそれでは検索システムが多くの候補を検索する必要があり過度の負担がかかります。また、短い文章を検索単位とすることで、文脈の一貫性が失われる恐れもあります。

今回研究者らはそのようなRAGにおける現状の課題に対応するフレームワークを提案しています。長い文章を検索単位として採用することで、検索の負担を軽減する手法です。

以下では、そんな手法についてより詳しく紹介していきます。