Googleなどの研究者らは、LLMの検索における正確性をさらに向上させるフレームワーク(『CRAG』)を提案しています。
検索結果を検証するプロセスを導入する手法です。
実験により、CRAGはあらゆるタスク設定で従来のRAGよりも正確な出力を実現することが示されています。
“Corrective Retrieval Augmented Generation”より
下記は主な内容の抜粋です。
■LLMの検索システムにおける課題
– 不正確なデータを含む
– 知識に限界がある
– 検索結果を適切に出力に反映する能力もまだ不十分
■新しいフレームワーク『CRAG』
– 検索結果の品質を下記のように評価する
「正確」「不正確」「曖昧」など
– 不正確な場合はウェブ検索を使用する
– なお検索結果からは不要な情報を排除する
■実験結果
– 4つのデータセットでフレームワークの有効性を検証
– 標準的なRAGやSelf-RAGの性能を大幅に凌駕した
(Self-RAG:出力を見直す方式)
– 短文・長文の生成両方で汎用性がある
ただし、検索結果の検証に使用する追加データ(ウェブ検索結果を含む)の品質にやはり依存するという課題もあります。