世の中に出回っているMCPツールにおける説明文の97%が、何らかの理由で不十分だと示唆されています。説明文の品質問題はすなわちAIの性能低下に直結するため、見過ごせない問題です。
以下では今回わかったMCPの欠陥パターンや、問題があったMCPの具体例、そしてどう対策したらいいのかまで見ていきます。
Model Context Protocol (MCP) のツール記述は問題だらけ！拡張されたMCPツール記述によるAIエージェント効率の改善に向けて
Model Context Protocol (MCP) Tool Descriptions Are Smelly! Towards Improving AI Agent Efficiency with Augmented MCP Tool Descriptions
| 著者 | Mohammed Mehedi Hasan, Hao Li, Gopi Krishnan Rajbahadur |
|---|---|
| URL | https://arxiv.org/abs/2602.14878 |
調査されたMCPの母数としてはは103のMCPサーバー、856のツールです。これらはMCPEval、MCP-Universe、LiveMCPBench、MCPToolBench++という、MCPエージェントの性能評価を目的としたベンチマークから収集しています。選定基準としては、実際の本番環境で使われているMCPサーバーであること、実証的な評価が行われていること、コードとサーバーが公開されていること、の3点を満たすものに絞られています。
MCPの欠陥パターン
今回発見された欠陥の種類は6つあり、頻度順に並べるとこうなります。
- 制限事項が書かれていない（89.8%）
- いつ・どう使うかが書かれていない（89.3%）
- パラメータの意味が不明（84.3%）
- 説明が短すぎる・不完全（79.1%）
- 具体例が不十分（77.9%）
- そもそも何をするツールか不明（56.0%）
たとえばこんな問題が
なお、103のMCPサーバーのうち23が公式組織（Anthropic、GitHub、Airbnb、PayPal、Microsoftなど）。そして公式組織として大企業が作ったツールも、個人開発者が作ったツールも、品質に統計的な差がありませんでした。
問題があったMCP例① PayPalの公式ツール「create_invoice」の説明文
“Creates PayPal Invoice Link.”
これだけです。請求書を作るのに必要なパラメータの説明も、どんな状況で使うべきかも、何ができて何ができないかも、一切書いていません。
問題があったMCP例② Googleマップの「maps_place_details」
“Get detailed information about a specific place.”
どんな情報が返ってくるのか、どんな形式で場所を指定するのか、何も書いていません。
MCP側の対策におけるジレンマ
MCPの説明文が丁寧だとAIの性能は上がりますが、説明が詳しくなるほどタスクを完了するまでのステップ数がコストが跳ね上がります。また、説明を追加することで逆に性能が下がるケースも少なくありません。
難しいのは、何をどこまで書けばいいかに「万能の正解」はなく、使うAIモデルやタスクの種類によって最適な組み合わせが違うという点です。そして「具体例を書くべき」というよく言われる常識は、MCPにいたっては統計的な優位性がありませんでした。
採点して改善する
今回の論文は単に問題を分析しただけでなく、実用的な成果物も提供しています。その一つが、ルーブリック（採点基準）です。
論文の付録にプロンプトと採点基準が掲載されているので、それをそのまま使えます。「この6項目で1〜5点で採点して」と頼めば、ツール説明文の品質を自動で採点・診断し、どこが問題かを指摘してくれます。
スキルとして開発したので、AIエージェントに与えて使ってみてください。
本記事の関連研究
