本記事では、NVIDIAによるRAGベースのLLMチャットボット構築の調査研究を紹介します。

研究者らは自社の開発事例に基づいて、RAGチャットボット構築においてコンテンツの鮮度・アーキテクチャ・コスト・テスト・セキュリティの5つに着目し、それらをフレームワーク『FACTS』としてまとめています。

また、RAGパイプラインの15の制御ポイントと最適化技術、LLMの精度と応答時間のトレードオフに関する分析結果も整理されています。

企業のAIチャットボット導入における実践的なガイドラインとして提供されています。

背景

従来の企業向けチャットボットは、単に情報検索の延長線上にありました。それでも、人事関連の問い合わせや、ITサポート、営業に関する質問、エンジニアリングの課題など、幅広い分野で活用されてきました。とはいえ、2022年11月にOpenAIのChatGPTが登場するまでは、企業内で開発されたチャットボットは対話フローに基づくものが主流でした。

そのころの（つまり初期の）チャットボットには、下記のような課題があったといいます。

1. ユーザーメッセージの意図理解のために広範な学習が必要
2. 応答生成には綿密な調整が求められる
3. 限定的な回答しか提供できない
4. システムの脆弱で安定性に欠けている
5. 企業での広範な使用に必要な精度、堅牢性、信頼性が不足している

そしてChatGPTの登場は、チャットボットの世界に革命をもたらしました。以下の要素も深く関係しています。

• ベクトルデータベースの出現
• 検索拡張生成（RAG）の普及

つまり複数の技術の組み合わせがシステムの能力向上につながったと考えられています。
LLMとRAGが結びついたことにより、以下のような変化が起きました。

1. 自然言語で意図が理解できるため、複雑な意図変数の学習が不要になった
2. 会話能力の向上によりコンテンツの一貫した合成が実現した
3. ユーザーからの質問に対して、一貫性があり、事実に基づいた論理的な応答を構築できるようになった
4. クトルデータベースを活用した情報検索により、最新のコンテンツを取り込むことが可能になった

また、LangChainやLlamaindexなどのツールが登場したことも大きいです。複雑なワークフローの調整、メモリ管理、エージェントの実装、プロンプトテンプレートの作成が容易になりました。

そうしてChatGPT以降の時代における生成AIチャットボットの基盤ができてきたのです。

そんな中、NVIDIAでは、従業員の生産性向上を目的として企業チャットボットの開発に着手してきました。そして、その過程で多くの壁に直面したようです。結局のところChatGPT以降の時代においても、優れた企業向けチャットボットの構築には様々な困難が伴うことが明らかになりました。

彼らが考える主な課題は以下の通りです。

1. RAGパイプラインの精密な設計
2. LLMの微調整
3. プロンプトエンジニアリング
4. 企業知識の関連性と正確性の確保
5. ドキュメントアクセス権限の遵守
6. 簡潔な応答
7. 適切な参照
8. 個人情報の保護

上記の課題に対処するには、慎重な設計と熟練した実装、そして徹底的な評価が必要であり、多大なる反復が求められます。速度とコスト効率を最適化しつつ、ユーザーエンゲージメントを維持することも重要です。

彼らは、「企業における会話型バーチャルアシスタントを適切に実現することは、完璧な交響曲を奏でるようなものだ」と言います。つまり、すべての要素が重要な意味を持っています。

以下でそんなNVIDIAの語るRAGチャットボット実装のコツに関する話を詳しく見ていきます。