RAG（検索拡張生成）において、主観的なクエリ（「〇〇は××に影響する？」など）に対し、現状のモデルは『客観的な情報』よりも『クエリと関連性の高い情報』を優先する傾向にあるとのことです。
実験の結果、情報の客観性（科学的・中立的）はあまり影響していないとのこと。
UCバークレーの研究者らによる報告です。
対策としては、情報源の品質を高めること、プロンプトなどによって情報の信頼性に対する価値観をモデルに教えることなどが挙げられます。
“What Evidence Do Language Models Find Convincing?”より
■実験内容
– GPT-4、Claude v1 Instant、LLaMA-2 Chat、Vicuna v1.5、WizardLM v1.2を使用
– 「一概に正解が出せないクエリ」と、エビデンスに基づいた文書のデータセットを用意
– クエリに対してモデルが回答時に参照した文書をスコアリング
■実験結果
– 現状のモデルはクエリに関連する情報を過度に重視する傾向にある
– 一方で、人間が通常重視する「文章の客観性」はあまり考慮していない
閉じたRAGシステムにおける対策は、データソースの品質向上とモデルのリテラシー向上が挙げられます。
（一方で、開かれたシステム（ウェブと繋がったLLM）においてはユーザーがリテラシーを持つことが重要になる可能性があります）
