LLMはRAGコンテキストと事前知識のどちらに依存する？

RAGによって情報が取得された時、モデルは内部の知識とどう折り合いをつけているのでしょうか？研究者らは特殊な方法によって、モデルが外部コンテキストと内部知識のどちらに依存しているかを詳しく調べました。

重要なお知らせ：AI分野のお仕事マッチングサービス「AIDB HR」を開始しました！登録後はオファーを受け取るだけのシンプルなサービスです！現在、期間限定で、ギフト券が必ずもらえる新規登録キャンペーンも行っています。

参照論文情報

タイトル：From RAGs to rich parameters: Probing how language models utilize external knowledge over parametric information for factual queries

著者：Hitesh Wadhwa, Rahul Seetharaman, Somyaa Aggarwal, Reshmi Ghosh, Samyadeep Basu, Soundararajan Srinivasan, Wenlong Zhao, Shreyas Chaudhari, Ehsan Aghazadeh

所属：University of Massachusetts, Amherst, Microsoft, University of Maryland, College Park

背景

LLMの活用が広がる中で、外部知識を組み込んで推論能力を高める「検索拡張生成(RAG)」が注目を集めています。ユーザーの質問に対してより適切な回答を生成できるように、外部のデータソースから関連情報を検索し、その情報をモデルの入力に追加する手法です。

RAGは、LLMの幻覚（事実と異なる情報の生成）を軽減し、最新の情報や専門知識を取り入れる上で効果的だと考えられています。しかし、RAGが実際にどのようにLLMの推論プロセスに影響を与えているのかについては、まだ十分に理解されていません。

これまで、LLMの内部動作を解明しようとする研究は進められてきました。例えば、モデル内の特定の隠れ層が事実の予測にどのように寄与しているかを調べる「因果追跡」や、モデルのパラメータを直接編集して知識を更新する手法などが開発されてきました。

そんな中、今回研究者らは、LLMが事実に基づく質問に答える際に、モデルに組み込まれた知識とRAGによって提供される外部情報をどのように使い分けているのかを分析しました。

以下で詳しく紹介します。

当サイトの利用にはAIDBのアカウントが必要です。
また記事の購読には、アカウント作成後の決済が必要です。

※ログイン/初回登録後、下記ボタンを押してください。

AIDBとは
 プレミアム会員（記事の購読）について

■サポートのお願い

AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。