AIDB Daily Papers
LLM連携プロトコルにおける実行時障害の分類:AIシステム信頼性向上のための第一歩
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- LLMと外部ツール連携を標準化するMCPプロトコルにおける実行時障害の実態を初めて体系的に分類した。
- 本研究は、AIワークフローの信頼性向上に不可欠な、未解明な実行時障害の特性を明らかにする点で重要である。
- 837件の障害スレッド分析から11カテゴリ・27サブカテゴリ・73葉分類からなる網羅的な障害分類を作成し、開発者への調査でその妥当性を確認した。
Abstract
MCP (Model Context Protocol) enables LLMs (Large Language Models) to interact with external tools and data sources via a standardized protocol. Its rapid adoption in tool-augmented Artificial Intelligence (AI) workflows has introduced new reliability challenges, such as configuration parameters that are accepted but not enforced at runtime, leading to unintended default behavior, whose runtime fault characteristics remain empirically unexamined. We present the first empirical taxonomy of runtime faults in MCP servers. We manually analyzed 837 MCP-specific runtime fault threads from 473 actively maintained MCP server GitHub repositories and derived a taxonomy using a bottom-up open coding procedure. The taxonomy comprises 11 top-level categories and 27 subcategories (73 leaf fault types), covering recurrent failures across protocol interactions, tool invocations, schema enforcement, state management, model-provider integration, security validation, and timeouts or explicit cancellations of in-progress operations. To assess the taxonomy's external validity, we surveyed 55 MCP server developers. Respondents reported experiencing an average of 20 of the 27 fault subcategories, and no category remained unobserved. These results indicate that the taxonomy reflects widely observed runtime failures in MCP-based systems and shall assist AI software maintenance and evolution in the future.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: