Microsoftの研究者が、LLMに外部知識を取り入れる2つの手法、ファインチューニングとRAGを比較した実験結果を報告しています。
大まかな結論としては、ファインチューニングよりもRAGは一貫して効果的と考えられるとのことです。
ただし、選定や実装はデータやアプリケーションに大きく依存します。
“Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs”より
■研究背景
– LLMの知識は基本的に自動的には更新されない
– 既存知識の更新や新知識の注入が重要だ
– 主な手法でファインチューニングとRAGが知られる
■比較実験
– Mistral / Llama2 / Orca2 の7Bで実施
– それぞれにファインチューニングとRAGを実行
– MMLUなどで新情報の取り込み能力をテスト
– 効果を測定する包括的な評価基準を設定
■実験結果
– RAGは一貫してより優れたパフォーマンスを示した
– RAGは新情報と既存知識の活用に効果的だった
– ファインチューニングは特定の目的で有効
ただし、どちらの手法においてもデータの品質が重要であること、そして実際のアプリケーションに適用する際には考慮すべき点が多くあると補足しています。
