次回の更新記事:答えのない問題に取り組むAIエージェントの走らせ方…(公開予定日:2026年07月13日)
AIDB Daily Papers

リーダーボードを超えて:大規模言語モデルエージェントにおけるツール利用・計画・推論の失敗の統合的分析

原題: Beyond the Leaderboard: A Synthesis of Tool-Use, Planning, and Reasoning Failures in Large Language Model Agents
著者: Wael Albayaydh, Rui Zhao, Ivan Flechais
公開日: 2026-07-07 | 分野: LLM 推論 計画 評価 cs.AI AIエージェント

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • LLMエージェントの性能評価に関する27の論文を分析し、ツール利用や計画、推論など多岐にわたる失敗要因を体系化した。
  • 個別のタスク性能が必ずしも全体的な成功に結びつかないことや、タスクの長期化に伴い失敗が非線形に増加することを明らかにした。
  • ツール呼び出しや計画の失敗、マルチエージェントの連携不全など、エージェント開発における6つの主要な失敗クラスターを特定した。

Abstract

Large language model (LLM) agents are increasingly evaluated on their ability to use tools, plan multi-step tasks, coordinate with other agents, and operate over extended horizons. Reported benchmark gains often obscure recurring failure modes documented across otherwise unrelated evaluation efforts. This paper synthesizes 27 benchmark, taxonomy, and audit papers (2023-2026), spanning 19 distinct benchmarks, into a cross-cutting taxonomy of agent limitations. To our knowledge, this is the first synthesis that integrates evidence across tool use, planning, long-horizon reasoning, multi-agent coordination, safety, and measurement validity into a single, unified taxonomy of LLM agent limitations. We identify six failure clusters: (1) tool invocation and parameter-level errors, (2) planning and constraint-satisfaction failures, (3) long-horizon degradation from context accumulation, (4) multi-agent coordination failures, (5) safety and security failures under adversarial or underspecified conditions, and (6) measurement validity problems. The taxonomy was derived iteratively by grouping independently reported error categories into themes corresponding to distinct stages of the agent reasoning-to-action pipeline. Across the literature, we find that failures compound nonlinearly with task length, that strong performance on individual sub-tasks does not reliably translate into end-to-end success, and that additional scaffolding does not consistently improve reliability. At the same time, substantial progress has been demonstrated in single-turn tool use, short-horizon web navigation, and narrowly scoped coding tasks.

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

関連するAIDB記事