LLMに対するプロンプトで「無関係な」文書を混ぜたほうが出力精度が上がる可能性がRAGシステムの検証で示唆された

   
★AIDB会員限定Discordを開設いたしました! 会員登録/ログインの上、マイページをご覧ください。
★コンサルティングサポート(調査・研修・開発支援)をご希望の方はお問合せください。

LLMに対するプロンプトで「無関係な」文書を混ぜたほうが出力精度が上がる可能性がRAGシステムの検証で示唆されました。

これまでになかった視点だと述べられています。

通常RAGシステムではRetrieverによってタスクに関係する文書を取り出してLLMにコンテキストとして与えるのが一般的です。しかし今回の実験では、あえて無関係な文書も「ノイズ」として乗せる実験を行なっています。


AIDBの全記事が読み放題のプレミアム会員登録はこちらから↓

参照論文情報

  • タイトル:The Power of Noise: Redefining Retrieval for RAG Systems
  • 著者:Florin Cuconasu, Giovanni Trappolini, Federico Siciliano, Simone Filice, Cesare Campagnano, Yoelle Maarek, Nicola Tonellotto, Fabrizio Silvestri
  • 所属:Sapienza University of Rom, Technology Innovation Institute, University of Pisa
  • URL:https://doi.org/10.48550/arXiv.2401.14887

LLMとRAG

LLMは、長い文章や複雑な質問への対応にはまだ課題があると言われています。そこで注目されているのが、LLMと情報検索技術を融合したRAGシステムです。
RAGシステムは、LLMに情報を提供することで、より正確で文脈に沿ったテキスト生成を実現するものです。主に以下2つのコンポーネントから構成されます。

・Retriever:外部情報源からクエリに関連する情報を検索します。

・Generator:Retrieverから得られた情報に基づいて、文脈に沿ったテキストを生成します。今回はLLMのことを指します。

今回紹介する論文では、研究者らがLLMにおけるRAGシステムの新しい知見を得たことが報告されています。
結論から紹介すると、以下のことが分かりました。

1. 検索フェーズにおいて関連文書の追加は必ずしも有益とは限らない
2. コンテキストにノイズを含めることが精度向上に貢献する

この結論は、RAGシステム特有の情報処理メカニズムが従来の情報検索とは異なることを示唆するものです。
実験内容に詳しく触れる前に、LLMの発展の経緯やRAGの登場について少しおさらいします。

LLMの歴史

2017年にGoogleの研究者らにより発表された「Attention Is All You Need」という論文から、LLM研究のトレンドが始まりました。いまや当たり前になったアーキテクチャのトランスフォーマーは、従来のモデルで使用されていた再帰層ではなく、アテンションメカニズムと呼ばれる新しい手法を用いて、データ内の長距離依存関係を学習することができるものです。

Googleはその後トランスフォーマーによって構築された言語モデルとしてBERTを発表しました。その後、OpenAIからGPT、GPT-2、GPT-3といったモデルが次々と発表されました。トランスフォーマーベースの言語モデルは規模や構造の進化に伴って、様々なタスクで驚異的なパフォーマンスを発揮するようになり、ついにGPT-3.5やGPT-4などのモデルが圧倒的な性能を達成しました。

そして最近では、LlamaなどのオープンソースLLMも次々とリリースされ、研究者や開発者によって追加の学習ができる高性能なモデルの環境が整いつつあります。

RAGの登場

RAGシステムは、そんなLLMに対して情報検索を融合する新しい技術です。検索モジュールによって関連する情報を取得し、生成モジュールで文章を生成します。

従来の情報検索システムよりも高い精度で、文脈に沿った出力を実現します。そのため大変注目を集めており、様々な研究が行われています。例えば以下のような研究が行われています。

  • 異なるタイプの文書の影響分析
  • RAGシステムにおけるアテンションメカニズムの動作分析

そんな中行わなれた本研究では、RAGシステムにおけるリトリバーモジュールの役割に関する以下が試されています。

  1. リトリバーモジュールのパラメータ(文書の位置やタイプ、数など)がLLMの生成結果に与える影響を分析する
  2. RAGシステムにおけるリトリバーモジュールの重要性全体を検証する

以下では、LLMにおけるRAGシステムを質問応答タスクで使用するアーキテクチャと、Retrieverの仕組みに関する実験内容、そして実験の結果を紹介します。

RAGの構成

本記事を読むにはAIDBのアカウントが必要です。


※ログイン/初回登録後、下記ボタンを押してください。







■サポートのお願い
AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。






業界/カテゴリー

PAGE TOP