100個の事例を分析して明らかになったLLM-RAGアプリケーション「19の欠陥パターン」

本記事では、LLMとRAGのソフトウェア開発における課題の調査研究を紹介します。

GitHub上の100のアプリケーションを分析し、19の欠陥パターンが特定されました。そして多くのアプリケーションが複数の問題を抱えています。

背景

過去6ヶ月間（論文発表は2024/7/6）で、GitHubには36,000以上のオープンソースLLM対応ソフトウェアが作成されました。

しかし、LLMとRAGを組み込んだソフトウェアには、まだ多くの課題が残されています。主に以下のようなものです。

1. インターフェース仕様の不足
2. LLMの生成するランダムな出力とソフトウェア要件の不一致
3. パフォーマンスを確保するためのシステムレベルの管理

今回研究者らは、課題解決の糸口を探るため、100のGitHubアプリケーション（2024年5月22日時点）を対象とした調査を行いました。そして3,000以上のissue（GitHub上の問題報告）が手動で調査され、19の欠陥パターンがまとめられました。

調査の結果、アプリケーションの98%が複数のタイプの欠陥を含んでいることが判明しました。欠陥は、予期しない動作停止・不正確なソフトウェア動作・実行速度の低下・ユーザーインターフェースの不便さ・トークンコストの増加・セキュリティの脆弱性など、様々な問題を引き起こしています。

また欠陥は、4つのカテゴリーに分類できることが明らかになりました。

1. プロンプトを構築しLLMの応答を生成するLLMエージェント
2. RAGをサポートするベクトルデータベース
3. LLMエージェントとベクトルデータベースとやり取りするソフトウェアコンポーネント
4. 実行を行うシステム

多くの欠陥は、簡単なコード修正で解決できるかもしれません。そこで本研究では、開発者が参考にできるガイドも提供されています。