本記事では、NVIDIAによるRAGベースのLLMチャットボット構築の調査研究を紹介します。
研究者らは自社の開発事例に基づいて、RAGチャットボット構築においてコンテンツの鮮度・アーキテクチャ・コスト・テスト・セキュリティの5つに着目し、それらをフレームワーク『FACTS』としてまとめています。
また、RAGパイプラインの15の制御ポイントと最適化技術、LLMの精度と応答時間のトレードオフに関する分析結果も整理されています。
企業のAIチャットボット導入における実践的なガイドラインとして提供されています。
![](https://ai-data-base.com/wp-content/uploads/2024/07/AIDB_72680-1024x576.jpg)
参照論文情報
- タイトル:FACTS About Building Retrieval Augmented Generation-based Chatbots
- 著者:Rama Akkiraju, Anbang Xu, Deepak Bora, Tan Yu, Lu An, Vishal Seth, Aaditya Shukla, Pritam Gundecha, Hridhay Mehta, Ashwin Jha, Prithvi Raj, Abhinav Balasubramanian, Murali Maram, Guru Muthusamy, Shivakesh Reddy Annepally, Sidney Knowles, Min Du, Nick Burnett, Sean Javiya, Ashok Marannan, Mamta Kumari, Surbhi Jha, Ethan Dereszenski, Anupam Chakraborty, Subhash Ranjan, Amina Terfai, Anoop Surya, Tracey Mercer, Vinodh Kumar Thanigachalam, Tamar Bar, Sanjana Krishnan, Samy Kilaru, Jasmine Jaksic, Nave Algarici, Jacob Liberman, Joey Conway, Sonu Nayyar, Justin Boitano
- 所属:NVIDIA
背景
従来の企業向けチャットボットは、単に情報検索の延長線上にありました。それでも、人事関連の問い合わせや、ITサポート、営業に関する質問、エンジニアリングの課題など、幅広い分野で活用されてきました。とはいえ、2022年11月にOpenAIのChatGPTが登場するまでは、企業内で開発されたチャットボットは対話フローに基づくものが主流でした。
そのころの(つまり初期の)チャットボットには、下記のような課題があったといいます。
- ユーザーメッセージの意図理解のために広範な学習が必要
- 応答生成には綿密な調整が求められる
- 限定的な回答しか提供できない
- システムの脆弱で安定性に欠けている
- 企業での広範な使用に必要な精度、堅牢性、信頼性が不足している
そしてChatGPTの登場は、チャットボットの世界に革命をもたらしました。以下の要素も深く関係しています。
- ベクトルデータベースの出現
- 検索拡張生成(RAG)の普及
つまり複数の技術の組み合わせがシステムの能力向上につながったと考えられています。
LLMとRAGが結びついたことにより、以下のような変化が起きました。
- 自然言語で意図が理解できるため、複雑な意図変数の学習が不要になった
- 会話能力の向上によりコンテンツの一貫した合成が実現した
- ユーザーからの質問に対して、一貫性があり、事実に基づいた論理的な応答を構築できるようになった
- クトルデータベースを活用した情報検索により、最新のコンテンツを取り込むことが可能になった
また、LangChainやLlamaindexなどのツールが登場したことも大きいです。複雑なワークフローの調整、メモリ管理、エージェントの実装、プロンプトテンプレートの作成が容易になりました。
そうしてChatGPT以降の時代における生成AIチャットボットの基盤ができてきたのです。
そんな中、NVIDIAでは、従業員の生産性向上を目的として企業チャットボットの開発に着手してきました。そして、その過程で多くの壁に直面したようです。結局のところChatGPT以降の時代においても、優れた企業向けチャットボットの構築には様々な困難が伴うことが明らかになりました。
彼らが考える主な課題は以下の通りです。
- RAGパイプラインの精密な設計
- LLMの微調整
- プロンプトエンジニアリング
- 企業知識の関連性と正確性の確保
- ドキュメントアクセス権限の遵守
- 簡潔な応答
- 適切な参照
- 個人情報の保護
上記の課題に対処するには、慎重な設計と熟練した実装、そして徹底的な評価が必要であり、多大なる反復が求められます。速度とコスト効率を最適化しつつ、ユーザーエンゲージメントを維持することも重要です。
彼らは、「企業における会話型バーチャルアシスタントを適切に実現することは、完璧な交響曲を奏でるようなものだ」と言います。つまり、すべての要素が重要な意味を持っています。
以下でそんなNVIDIAの語るRAGチャットボット実装のコツに関する話を詳しく見ていきます。
また記事の購読には、アカウント作成後の決済が必要です。
※ログイン/初回登録後、下記ボタンを押してください。
AIDBとは
プレミアム会員(記事の購読)について
■サポートのお願い
AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。