LLMには、基本的に内蔵された知識に依存するという課題があります。そこで、外部情報の検索でこの問題を解決しようとする試み(RAG)があります。しかし、外部情報とモデル自身が持つ知識に矛盾がある場合、LLMは柔軟に対応できるのでしょうか?研究者らはこの点について網羅的に調査しました。結果、LLMは一見矛盾した振る舞いを見せることがわかりました。
参照論文情報
- タイトル:Adaptive Chameleon or Stubborn Sloth: Revealing the Behavior of Large Language Models in Knowledge Conflicts
- 著者:Jian Xie, Kai Zhang, Jiangjie Chen, Renze Lou, Yu Su
- 所属:Fudan University, The Ohio State University, The Pennsylvania State University
- 備考:ICLR 2024に採択
背景
LLMは、膨大な知識を備えていますが、知識が不正確だったり、情報が古くなるといったケースもあり、それが問題になると指摘されています。
そこで、外部情報との連携が注目されています。 一般にRAG(Retrieval-Augmented Generation)と呼ばれるシステムです。ただし、外部情報がLLMの持つ知識と矛盾するケース(以降、これを「対立知識」と呼びます)は避けられません。そんなとき何が起こるのかを理解する必要があります。
そこで研究者らは、LLMが「対立知識」に直面した時の振る舞いについて調査を行いました。
この調査の難しさは、「対立知識」をどう準備するかにありました。工夫が足らないとLLMが容易に矛盾に気づく可能性があります。
そこで本研究では、LLMの知識を明確に引き出し、それに対立する情報を用意する手法が新たに提案されています。以下の点を検証しました。
- 外部情報同士が矛盾する「対立知識」が提示された場合、LLMは受け入れるのか?
- 元々の知識と「対立知識」の両方が提示された場合、LLMはどう判断するのか?
以下では、実験結果をかなり詳細に見ていきます。
また記事の購読には、アカウント作成後の決済が必要です。
※ログイン/初回登録後、下記ボタンを押してください。
AIDBとは
プレミアム会員(記事の購読)について
■サポートのお願い
AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。