メタ認知をRAGに応用し、回答の品質がいまいちだとLLMが認識した際に検索を繰り返すアプローチの有効性が検証されました。
実験の結果、通常のRAGよりも大幅に精度が高い回答が一貫して得られると述べられています。
今回の条件下では「5回」反復した時に最高精度になるとのこと。
“Metacognitive Retrieval-Augmented Large Language Models”より
■研究背景
– LLMの知識不足を補う手法としてRAGが台頭している
– しかし検索性能の向上が求められている
– 人間のメタ認知の原理を応用するのはどうか
■MetaRAGの方法論
– モデルの回答をユーザーに出す前に監視する
– 質問の要件を満たしていない理由を特定する
– 理由に基づいて再度検索を実行する
■実験内容
– 質問応答データセットを使用
HotpotQA／2WikiMultiHopQA
– メインモデルにはGPT-3.5を使用
– メタ認知用にはT5-largeを使用
■実験結果
– MetaRAGは従来の手法を一貫して大幅に上回った
– 各エラータイプに対して有効な戦略をとり推論精度を著しく向上させた
