本記事では、RAGシステムの性能を総合的に評価するための新しい手法「FRAMES」を紹介します。
RAGシステムは複雑な質問に対して関連情報を検索し、適切な回答を生成する能力が求められます。
今回ハーバード大学とGoogleの研究者らは、事実の正確性、情報検索能力、複雑な推論能力を同時に評価するための考え方を整理しました。また、一般的な内容に対応した質問セットを作成しました。
参照論文情報
- タイトル：Fact, Fetch, and Reason: A Unified Evaluation of Retrieval-Augmented Generation
- 著者：Satyapriya Krishna, Kalpesh Krishna, Anhad Mohananey, Steven Schwarcz, Adam Stambler, Shyam Upadhyay, Manaal Faruqui
- 研究機関：ハーバード大学、Google
背景
多くの企業がLLMを活用したRAG（検索拡張生成）システムの導入を検討しています。大量の社内文書や専門知識を活用し、質問に対して的確な回答を生成する仕組みが求められているためです。
そしてRAGシステムを効果的に運用するには、性能を適切に評価することは不可欠です。
しかしここで課題となるのが、既存の評価方法の多くが単一の側面（例：情報検索の精度や回答の事実性）にのみ焦点を当てていることです。
そこで今回研究チームは新たな評価フレームワーク「FRAMES」を開発しました。以下の特徴を持ちます。
- 事実の正確性、情報検索能力、複雑な推論能力を同時に評価する
- 複数の情報源から段階的に情報を収集し、統合する能力を測定する
- 過去のデータと現在の状況を適切に関連付ける能力を評価する
- 定量的・定性的な分析を要する質問を設計する
今回研究者らが実際に開発したのは一般的なテーマの質問データセットですが、その設計思想は独自のRAGシステム評価に応用できる可能性が高いです。
以下で本研究を詳しく紹介します。
