100個の事例を分析して明らかになったLLM-RAGアプリケーション「19の欠陥パターン」

   

本記事では、LLMとRAGのソフトウェア開発における課題の調査研究を紹介します。

GitHub上の100のアプリケーションを分析し、19の欠陥パターンが特定されました。そして多くのアプリケーションが複数の問題を抱えています。

--- 重要なお知らせ---

AIスキル人材と企業をつなぐマッチングサービス「AIDB HR」を開始しました!現在、期間限定で、ギフト券が必ずもらえる新規登録キャンペーンも行っています。


------

参照論文情報

  • タイトル:Vortex under Ripplet: An Empirical Study of RAG-enabled Applications
  • 著者:Yuchen Shao, Yuheng Huang, Jiawei Shen, Lei Ma, Ting Su, Chengcheng Wan
  • 所属:East China Normal University, The University of Tokyo, University of Alberta

背景

過去6ヶ月間(論文発表は2024/7/6)で、GitHubには36,000以上のオープンソースLLM対応ソフトウェアが作成されました。

しかし、LLMとRAGを組み込んだソフトウェアには、まだ多くの課題が残されています。主に以下のようなものです。

  1. インターフェース仕様の不足
  2. LLMの生成するランダムな出力とソフトウェア要件の不一致
  3. パフォーマンスを確保するためのシステムレベルの管理

今回研究者らは、課題解決の糸口を探るため、100のGitHubアプリケーション(2024年5月22日時点)を対象とした調査を行いました。そして3,000以上のissue(GitHub上の問題報告)が手動で調査され、19の欠陥パターンがまとめられました。

調査の結果、アプリケーションの98%が複数のタイプの欠陥を含んでいることが判明しました。欠陥は、予期しない動作停止・不正確なソフトウェア動作・実行速度の低下・ユーザーインターフェースの不便さ・トークンコストの増加・セキュリティの脆弱性など、様々な問題を引き起こしています。

また欠陥は、4つのカテゴリーに分類できることが明らかになりました。

  1. プロンプトを構築しLLMの応答を生成するLLMエージェント
  2. RAGをサポートするベクトルデータベース
  3. LLMエージェントとベクトルデータベースとやり取りするソフトウェアコンポーネント
  4. 実行を行うシステム

多くの欠陥は、簡単なコード修正で解決できるかもしれません。そこで本研究では、開発者が参考にできるガイドも提供されています。

当サイトの利用にはAIDBのアカウントが必要です。
また記事の購読には、アカウント作成後の決済が必要です。



※ログイン/初回登録後、下記ボタンを押してください。

AIDBとは
プレミアム会員(記事の購読)について


■サポートのお願い
AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。






PAGE TOP