本記事では、LLMエージェントの失敗パターンを分析した研究を紹介します。

自律的に動くエージェントを設計しても、思うようにタスクをこなせないことは少なくありません。とくに「どう計画を立てるか」「どう失敗から立て直すか」といった場面でのつまずきが、全体の性能に大きく影響しています。

開発や評価の際にあらかじめ知っておきたい、典型的な失敗とその整理方法が示されています。

背景

エージェントは「とりあえず動けばいい」と思って作られるケースも多い。しかし実際には、どこでつまずくかを知らずに組んだシステムは、思った以上に失敗します。仕組みを考慮して設計すれば、もっと効果的に、もっと効率的に使えるはずです。

LLMをベースにしたエージェントは、指示を読み取り、自分でコードを作って実行し、答えを返してくれる存在として注目されています。人が途中で手を入れなくてもタスクを自動でこなす「エンドツーエンド」での自律処理に期待が高まっています。

多くのエージェントシステムは、指示を分解する役割、コードを書く役割、それを実行する役割に分かれ、互いに連携しながら動いています。出力やエラーを見て再調整する仕組みも備えていますが、その連携が本当にうまくいっているかどうかは、成功率だけでは判断できません。どの段階でどんなミスが起きたのか、実は詳しく分析されていないのです。

たとえば「うまく動かなかった」という結果が出たとき、それがそもそもの計画ミスなのか、コードのバグなのか、あるいは改善ループが機能していないのか、判断がつかないこともあります。問題の所在が不明なままでは、改善のしようがありません。

そこで本記事では、代表的なタスクで主なエージェントシステムを評価した調査を取り上げます。その結果、失敗パターンが明らかになりました。