グラフニューラルネットワークを活用したRAG手法『GNN-RAG』 7BのLLMでも最先端性能

   
★AIDB会員限定Discordを開設いたしました! ログインの上、マイページをご覧ください。

★企業と人材のマッチングサービスを準備中です。アンケートのご協力をお願いいたします!↓

RAGの新しい手法『GNN-RAG』が提案されています。LLMの自然言語理解能力とGNNの推論能力を組み合わせた手法で、ナレッジグラフを使って自然言語の質問に答えるタスクで非常に高い性能を示しています。

なおナレッジグラフは、事実を「主体(head)」、「関係(relation)」、「対象(tail)」の三つ組(トリプレット)で表現し、集めたグラフです。例えば、「ジャマイカ → 話される言語 → 英語」といった具合です。


AIDBの全記事が読み放題のプレミアム会員登録はこちらから↓

参照論文情報

  • タイトル:GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning
  • 著者:Costas Mavromatis, George Karypis
  • 所属:University of Minnesota

背景

LLMによる出力の事実性を高めるため、検索拡張生成(RAG)が活用されるようになってきました。LLMの入力に外部の情報源から関連するコンテキストを追加するものです。

RAGにおける情報源には、ナレッジグラフを活用することも多く研究されるようになってきました。ナレッジグラフは人間が作成した事実知識を体系化したものです。エンティティ間の関係をグラフ構造としてまとめることで、複雑な知識のやり取りを効率的に扱うことができ、質問応答などの知識集約型タスクにおいて役立つと考えられています。

そして、RAGの性能は、取得する情報の質に大きく依存します。ナレッジグラフは複雑なグラフ情報を持つため、適切な情報を取得するには効果的なグラフ処理が必要です。そこで、グラフニューラルネットワーク(GNN)に注目されています。GNNは、グラフ構造を考慮した強力な特徴表現学習能力を持っており、ナレッジグラフ内の複雑な関係性を的確に捉えると期待されているのです。

今回研究者らは、LLMの言語理解能力とGNNの推論能力を組み合わせた新しい手法『GNN-RAG』を提案しています。さらに、GNN-RAGの検索性能を向上させるために、LLMベースの検索器を組み合わせる手法も開発されました。

実験結果から、GNN-RAGを使用するとわずか7Bの軽量なLLMを使用した場合でも最先端モデルに匹敵する性能を達成できることが明らかになっています。
以下では手法や実験結果の詳細を紹介します。

本記事を読むにはAIDBのアカウントが必要です。


※ログイン/初回登録後、下記ボタンを押してください。







■サポートのお願い
AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。






業界/カテゴリー

PAGE TOP