複数回の再検索を行うことで、LLMが誤った情報(フェイクニュース)を有効に検出することができることが示されています。
イリノイ工科大などの研究者らによる報告です。
“Re-Search for The Truth: Multi-round Retrieval-augmented Large Language Models are Strong Fake News Detectors”より
フェイクニュースは依然として政治や経済に深刻な影響を及ぼしていいます。従来の検出手法は、関連する証拠に基づく方法論に大きく依存しています。
LLMが新たに期待されているものの、優れた活用方法は確立されていません。
今回研究者らは、検索回数を上げることによる精度向上を試みています。
■方法論(「STEEL」)
1. ニュース文を受け取る
2. ウェブ検索APIで関連証拠を含むドキュメントを取得し、証拠を抽出する
3. LLMが証拠に基づきニュース文を分類し、説明文を生成する。必要に応じて再検索
4. 最終的な真偽判定と判断の説明文を出力する
■実験と結果
– 3つの実データセットで既存手法との比較実験を実施。
– 予測精度と説明性で既存手法を一貫して上回った
– 再検索がパフォーマンス向上に不可欠