LLMにナレッジグラフ（知識グラフ）を連携させることで、タスク遂行能力を大幅に向上させるフレームワーク『Graph Neural Prompting（GNP）』が考案されました。
モデルに学習データを追加するよりも安価に成果が得られ、カスタマイズも柔軟です。
Amazonなどの研究者らによる発表です。
@ Yijun Tian et al., “Graph Neural Prompting with Large Language Models”
「LLMに正確な知識を出力させたい」という願いが切望されていますが、仮に知識グラフを用いてモデルを強化すればコストは膨大になります。
そこで研究者らは外部の知識グラフとシームレスに接続するフレームワーク『GNP』を考案しました。
■GNPの方法論
下記を含む構造になっている
① 標準的なグラフニューラルネットワークエンコーダ
② クロスモダリティプーリングモジュール
③ ドメインプロジェクタ
④ 自己教師付きリンク予測オブジェクト
■性能実験
複数の公開ベンチマークデータセットで下記タスクを検証
① 常識推論
② バイオメディカル推論
■ 実験・調査の結果
① ベースラインを+13.5%改善。
② パラメータ効率的なアプローチLoRAを用いてLLMを微調整すると、さらに+1.8%の改善
■ 主な結論
GNPは、LLMに有益な知識を効果的にエンコードし、パフォーマンスを大幅に向上させることができる
■注意点
① LLMのパラメータ数が多いため、ダウンストリームタスクへの適応が困難になる恐れがある
② 効果はLLMのサイズや設定に依存する可能性がある
□メリット
コストやカスタマイズ性以外にも下記のメリットが考えられる
① 知識グラフ自体を専門家が監修することで信頼性が上がる
② 特定のドメインや業界に大きく特化できる
③ モデルの判断根拠が明確になり、説明可能なAIに一歩近づく
