エージェントの業務導入は、「どのモデルが最強か」だけでは検討できない

いまのAIエージェントは、チャットで指示を出すだけで、調査、コード作成、ブラウザ操作、ファイル編集などをこなせるようになりつつあります。ただし、それが短いデモの中だけでうまく見えているのか、それとも将来的に人間の作業を長時間支えられる水準に近づいているのかは、まだ簡単には判断できません。

本記事は、その見極めをより現実に近い条件で行った事例を取り上げます。見ようとしているのは、AIエージェントが本当に実用レベルで動けるのか、という点です。

短いテストでは実務の失敗が見えにくい

上海AIラボなどのチームが発表した研究では、「WildClawBench」という評価ベンチマークが提案されています。狙いは、AIエージェントが将来的に実務で使われる場面を想定し、短い一問一答では見えない能力を測ることです。

従来の評価にも意味はあります。しかし、実務に近いエージェント能力を見ようとすると、いくつかの限界があります。特に問題になるのは、作業環境、タスクの長さ、道具の実在性、採点対象の四点です。

実務でエージェントを使う場合、最終的な答えだけが合っていればよいわけではありません。たとえば、資料の要約は正しくても、途中で不要なファイルを削除していたら問題です。メールの文面が正しくても、宛先を間違えれば業務上の事故になります。

将来のAIエージェント評価では、答えにたどり着いたかだけでなく、どのような手順で作業したのか、その過程で環境にどんな変化を起こしたのかまで見る必要があります。

60の課題で長時間作業を再現する

WildClawBenchには、全部で60の課題が用意されています。対象は、単なる知識問題ではありません。ブラウザ、ファイル、シェル、メール、カレンダーなどを使いながら、ある程度まとまった作業を進める設計になっています。

課題は6つのカテゴリに分かれる

制限時間は5分から20分程度です。短いクイズというより、実際の作業に近いまとまりを持ったタスクとして設計されています。トップクラスのモデルでも、平均で約8.5分、ツール呼び出しは約26回が必要でした。

この数字は、エージェント評価の難しさをよく表しています。長時間タスクでは、一度の回答で正解を出す力だけでは足りません。情報を探し、道具を使い、途中結果を確認し、必要に応じて方針を修正する力が必要になります。

視覚情報を扱う課題も含まれる

60課題のうち26課題は、画像や動画を含むマルチモーダル課題です。実際の業務では、テキストだけで完結する場面ばかりではありません。スクリーンショットを見て状況を把握したり、画面上のボタンを理解したり、資料内の図を読んだりする必要があります。

今後のAIエージェントが本当にパソコン作業を担うなら、文章理解だけでなく、画面や画像を見ながら作業を進める能力が重要になります。WildClawBenchは、その将来的な利用シーンを先取りして評価しようとしている点に特徴があります。

採点は結果だけでなく副作用も見る

各課題は、独立したDockerコンテナの中で実行されます。Dockerコンテナは、毎回同じ条件で作業環境を用意するための仕組みです。これにより、モデルごとの結果を比較しやすくなります。

本物に近い道具を使わせる

エージェントには、実務に近い道具が与えられます。単なるチャット上の回答ではなく、実際に作業環境を動かしながら成果を出す必要があります。

この設計で重要なのは、実行中の行動まで評価対象になることです。将来的にエージェントを業務に組み込むなら、最終成果物の品質だけでなく、作業中に余計な変更を加えていないか、環境を壊していないかも確認しなければなりません。

3つの採点方法を組み合わせる

意味的な判定には、LLMやVLMも使われています。LLMは文章を扱う大規模言語モデル、VLMは画像などの視覚情報も扱えるモデルです。また、正解データはエージェントの実行が終わった後にコンテナへ入れられるため、作業中に正解を盗み見ることはできない構造になっています。

最高モデルでも六割台にとどまった

19の最先端モデルを評価した結果、最高スコアはClaude Opus 4.7の62.2%でした。他のモデルはすべて60%未満で、最下位のGrok 4.20 Betaは19.3%でした。

この結果は、AIエージェントがまったく使えないという話ではありません。むしろ、複雑な長時間タスクに挑戦できる段階には来ています。ただし、人間の代わりに作業を安心して任せられる水準には、まだ大きな距離があります。

画像や動画を含む課題では成績が下がる

テキストだけの課題に比べると、画像や動画を含む課題ではスコアが下がる傾向があります。たとえばGPT 5.4では、テキスト課題のスコアが58.0%だったのに対し、マルチモーダル課題では40.2%まで下がりました。

これは、文章を読む能力と、視覚情報を使いながら長時間作業を進める能力が別物であることを示しています。将来的にエージェントを実務で使う場面では、画面、画像、動画、資料内の図表を読みながら判断する能力がより重要になります。

高コストなら高性能とは限らない

コストが高いモデルほど高得点になる、という単純な関係も見られませんでした。GPT 5.5はClaude Opus 4.7の半分以下のコストで、二番目の成績を出しています。

これは導入側にとって重要です。高価なモデルを選ぶだけでは、エージェントの実用性は保証されません。モデルの能力に加えて、どの道具を使わせるか、どの環境で動かすか、どの程度の時間を与えるかまで含めて設計する必要があります。

ハーネスの違いだけで結果が変わる

この評価で特に示唆的なのは、同じモデルでも動かし方によってスコアが大きく変わる点です。ここでいう足場とは、エージェントを動かすためのハーネスのことです。モデルにどのように指示を渡し、どの道具を使わせ、失敗時にどう立て直すかを決める仕組みです。

4つの実行環境が比較された

MiMo V2 Proというモデルでは、Claude Codeで動かすか、Hermes Agentで動かすかによって、スコアが最大18ポイント変わりました。つまり、ハーネスは単なる入れ物ではありません。

判断をどう繰り返すか、文脈をどう管理するか、ツールの失敗にどう対応するか。こうした周辺設計が、エージェントの実力を大きく左右します。

評価対象はモデル単体ではない

AIエージェントの性能を考えるとき、「どのモデルが一番賢いか」という見方だけでは足りません。実際には、モデル、ハーネス、ツール、時間制約、文脈管理が組み合わさって結果が決まります。

これは、今後の導入判断にも関わります。同じLLMを使っていても、エージェントの設計次第で成果が変わるなら、比較すべき対象はモデル名ではなく、作業システム全体です。

考え込むほど良いとは限らない

長時間タスクでは、より深く推論させれば性能が上がるように見えます。しかし、実験結果はそれほど単純ではありませんでした。GPT 5.4で考える深さを低、中、高に変えたところ、高にした場合、時間切れの課題が6個から15個に増え、スコアも大きく下がりました。

深く考えること自体は重要です。ただし、実務に近いタスクでは、考える時間と行動する時間の配分が成果を左右します。迷い続けて作業が進まなければ、どれだけ高度な推論をしていてもタスクは完了しません。

補助機能は効く場面と逆効果の場面がある

特定の作業を助ける外部補助機能を追加すると、コード理解と創作のカテゴリでは、どのモデルでも改善が見られました。一方で、他のカテゴリでは成績が下がるケースもありました。

道具が増えると、エージェントはその使い分けも判断しなければなりません。うまく使えれば強みになりますが、タスクによっては迷いを増やす要因にもなります。将来的なエージェント設計では、道具を増やすことよりも、どの場面でどの道具を使うべきかを制御することが重要になります。

時間を増やしても伸びは限定的だった

制限時間を半分にすると、成績は大きく下がりました。これは自然な結果です。長時間タスクでは、作業時間が足りなければ失敗しやすくなります。

ただし、時間を倍にしても伸びは限定的でした。これは、エージェントが途中で間違った方向に進んだ場合、単に時間を増やしても回復できるとは限らないことを示しています。実務利用では、長く動かすだけでなく、早い段階で誤りを検知し、軌道修正できる仕組みが必要になります。

導入側が見るべき三つのポイント

この評価から見えてくる実務上の示唆は、モデルランキングの確認だけでは不十分だということです。AIエージェントを将来的に業務へ組み込むなら、少なくとも次の3点を見る必要があります。

作業過程を観察できるか

最終成果物だけを見ていると、途中で起きた失敗を見逃します。どのファイルを開き、どのコマンドを実行し、どの情報を根拠に判断したのかを追跡できる設計が必要です。これは監査やセキュリティだけでなく、失敗時の原因分析にも関わります。

道具の使い方を制御できるか

エージェントには、ファイル、ブラウザ、シェル、メール、カレンダーなどの道具が与えられます。しかし、道具が多いほど良いわけではありません。タスクの種類に応じて、使える道具の範囲や権限を調整し、危険な操作には制限をかける必要があります。

時間切れや迷走を検知できるか

長時間タスクでは、途中で方針を誤ったまま進み続けるリスクがあります。制限時間を延ばすだけでは解決しません。一定時間ごとに進捗を確認し、必要なら中断や再計画を行う仕組みが、今後の実用化には欠かせません。

まとめ

今回紹介したWildClawBenchが示しているのは、AIエージェントが将来的に実務を担うためには、まだ越えるべき壁が多いということです。最高モデルでも六割台にとどまり、視覚情報を含むタスクではさらに難度が上がります。

ただし、これは悲観的な結果というより、評価の解像度が上がった結果だと考えられます。短いデモでは見えなかった失敗、長時間作業で起きる迷走、道具の使い方の差、副作用の管理といった課題が、ようやく測れるようになってきたということです。

AIエージェントの実用性は、モデル単体の賢さだけでは決まりません。LLM、実行環境、ツール設計、時間制約、監査の仕組みが噛み合ってはじめて、長時間タスクを任せられる存在に近づきます。

今後、エージェントを業務に導入する企業にとって重要なのは、「どのモデルが最強か」を追うことだけではありません。自社の作業に近い環境で、どの範囲まで任せられるのか。どの操作には人間の確認を残すべきなのか。そこを見極める評価設計こそが、実用化の分かれ目になりそうです。

本記事の関連研究