研究者らは、RAGの7つの失敗パターンを報告しています。また、システムの設計時に考慮すべきポイントを整理しました。今後の研究開発における方向性も提案しています。
参照論文情報
- タイトル：Seven Failure Points When Engineering a Retrieval Augmented Generation System
- 著者：Scott Barnett, Stefanus Kurniawan, Srikanth Thudumu, Zach Brannelly, Mohamed Abdelrazek
- 所属：Applied Artificial Intelligence Institute
背景
LLMは最新の知識や特定のドメインの知識を持ち合わせていないことがあります。この問題に対処するには、LLMをファインチューニング（追加学習）するか、検索拡張生成（RAG）を用いるかの2つの選択肢があります。
ファインチューニングは、特定のドメインのデータを使ってLLMを再学習させる方法です。
一方、RAGは、LLMを再学習させずに、検索システムと組み合わせて利用する方法です。ユーザーの質問に関連する情報を検索し、その情報をLLMに渡して回答を生成します。
RAGシステムは、すぐに利用可能であるというメリットがあります。また、検索対象のドキュメントを更新することで、最新の知識を反映させることができます。しかし一方で、情報検索システム特有の課題があることが指摘されています。例えば、クエリの書き換えや、ドキュメントの再ランク付けなどです。また、正確さの評価が難しいという課題もあります。
今回研究者らは、RAGシステムの実装における課題を明らかにすることを目的として調査を行いました。3つのケーススタディを通じて、RAGシステムを構築する際に直面する7つの失敗パターンと9つの教訓、そして今後の研究課題を整理しています。
