グラフニューラルネットワークを活用したRAG手法『GNN-RAG』　7BのLLMでも最先端性能

RAGの新しい手法『GNN-RAG』が提案されています。LLMの自然言語理解能力とGNNの推論能力を組み合わせた手法で、ナレッジグラフを使って自然言語の質問に答えるタスクで非常に高い性能を示しています。

なおナレッジグラフは、事実を「主体（head）」、「関係（relation）」、「対象（tail）」の三つ組（トリプレット）で表現し、集めたグラフです。例えば、「ジャマイカ → 話される言語 → 英語」といった具合です。

背景

LLMによる出力の事実性を高めるため、検索拡張生成（RAG）が活用されるようになってきました。LLMの入力に外部の情報源から関連するコンテキストを追加するものです。

RAGにおける情報源には、ナレッジグラフを活用することも多く研究されるようになってきました。ナレッジグラフは人間が作成した事実知識を体系化したものです。エンティティ間の関係をグラフ構造としてまとめることで、複雑な知識のやり取りを効率的に扱うことができ、質問応答などの知識集約型タスクにおいて役立つと考えられています。

そして、RAGの性能は、取得する情報の質に大きく依存します。ナレッジグラフは複雑なグラフ情報を持つため、適切な情報を取得するには効果的なグラフ処理が必要です。そこで、グラフニューラルネットワーク（GNN）に注目されています。GNNは、グラフ構造を考慮した強力な特徴表現学習能力を持っており、ナレッジグラフ内の複雑な関係性を的確に捉えると期待されているのです。

今回研究者らは、LLMの言語理解能力とGNNの推論能力を組み合わせた新しい手法『GNN-RAG』を提案しています。さらに、GNN-RAGの検索性能を向上させるために、LLMベースの検索器を組み合わせる手法も開発されました。

実験結果から、GNN-RAGを使用するとわずか7Bの軽量なLLMを使用した場合でも最先端モデルに匹敵する性能を達成できることが明らかになっています。
以下では手法や実験結果の詳細を紹介します。