RAGによって情報が取得された時、モデルは内部の知識とどう折り合いをつけているのでしょうか？研究者らは特殊な方法によって、モデルが外部コンテキストと内部知識のどちらに依存しているかを詳しく調べました。
参照論文情報
- タイトル：From RAGs to rich parameters: Probing how language models utilize external knowledge over parametric information for factual queries
- 著者：Hitesh Wadhwa, Rahul Seetharaman, Somyaa Aggarwal, Reshmi Ghosh, Samyadeep Basu, Soundararajan Srinivasan, Wenlong Zhao, Shreyas Chaudhari, Ehsan Aghazadeh
- 所属：University of Massachusetts, Amherst, Microsoft, University of Maryland, College Park
背景
LLMの活用が広がる中で、外部知識を組み込んで推論能力を高める「検索拡張生成(RAG)」が注目を集めています。ユーザーの質問に対してより適切な回答を生成できるように、外部のデータソースから関連情報を検索し、その情報をモデルの入力に追加する手法です。
RAGは、LLMの幻覚（事実と異なる情報の生成）を軽減し、最新の情報や専門知識を取り入れる上で効果的だと考えられています。しかし、RAGが実際にどのようにLLMの推論プロセスに影響を与えているのかについては、まだ十分に理解されていません。
これまで、LLMの内部動作を解明しようとする研究は進められてきました。例えば、モデル内の特定の隠れ層が事実の予測にどのように寄与しているかを調べる「因果追跡」や、モデルのパラメータを直接編集して知識を更新する手法などが開発されてきました。
そんな中、今回研究者らは、LLMが事実に基づく質問に答える際に、モデルに組み込まれた知識とRAGによって提供される外部情報をどのように使い分けているのかを分析しました。
以下で詳しく紹介します。
