本記事では、LLMとRAGのソフトウェア開発における課題の調査研究を紹介します。
GitHub上の100のアプリケーションを分析し、19の欠陥パターンが特定されました。そして多くのアプリケーションが複数の問題を抱えています。
AIスキル人材と企業をつなぐマッチングサービス「AIDB HR」を開始しました！現在、期間限定で、ギフト券が必ずもらえる新規登録キャンペーンも行っています。
参照論文情報
- タイトル：Vortex under Ripplet: An Empirical Study of RAG-enabled Applications
- 著者：Yuchen Shao, Yuheng Huang, Jiawei Shen, Lei Ma, Ting Su, Chengcheng Wan
- 所属：East China Normal University, The University of Tokyo, University of Alberta
背景
過去6ヶ月間（論文発表は2024/7/6）で、GitHubには36,000以上のオープンソースLLM対応ソフトウェアが作成されました。
しかし、LLMとRAGを組み込んだソフトウェアには、まだ多くの課題が残されています。主に以下のようなものです。
- インターフェース仕様の不足
- LLMの生成するランダムな出力とソフトウェア要件の不一致
- パフォーマンスを確保するためのシステムレベルの管理
今回研究者らは、課題解決の糸口を探るため、100のGitHubアプリケーション（2024年5月22日時点）を対象とした調査を行いました。そして3,000以上のissue（GitHub上の問題報告）が手動で調査され、19の欠陥パターンがまとめられました。
調査の結果、アプリケーションの98%が複数のタイプの欠陥を含んでいることが判明しました。欠陥は、予期しない動作停止・不正確なソフトウェア動作・実行速度の低下・ユーザーインターフェースの不便さ・トークンコストの増加・セキュリティの脆弱性など、様々な問題を引き起こしています。
また欠陥は、4つのカテゴリーに分類できることが明らかになりました。
- プロンプトを構築しLLMの応答を生成するLLMエージェント
- RAGをサポートするベクトルデータベース
- LLMエージェントとベクトルデータベースとやり取りするソフトウェアコンポーネント
- 実行を行うシステム
多くの欠陥は、簡単なコード修正で解決できるかもしれません。そこで本研究では、開発者が参考にできるガイドも提供されています。
また記事の購読には、アカウント作成後の決済が必要です。
※ログイン/初回登録後、下記ボタンを押してください。
AIDBとは
プレミアム会員（記事の購読）について
■サポートのお願い
AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。
PAGE TOP