RAGにおいてLLMが「役立たない情報を無視」できるようにすることで、QAタスクで従来の手法を大幅に上回る結果を達成したとのこと。
UCバークレーの研究者らによる発表です。
“RAFT: Adapting Language Model to Domain Specific RAG”より
分野固有の知識に適応するRAGにおいて、最適な戦略は明確になっていません。
今回研究者らは、関連性の低い文書を無視するようにLLMを学習させるフレームワークを提案しています。
■フレームワーク
1. 質問、関連文書、不要な文書、回答のペアデータを準備する
2. モデルをファインチューニングする
※不要な文書を含めた学習により、「無視」を習得する
■実験内容
– PubMed QA、HotpotQA、Gorilla APIベンチマークなどの様々なデータセットで評価
– ベースライン（通常のRAGなど）と比較
– 思考の連鎖（CoT）の影響も検証
■実験結果
– 全てのデータセットにおいて、ベースラインを上回る性能を示した。
– 思考の連鎖（CoT）を用いることで、性能がさらに向上することが確認された
