AIエージェントは結局何の実務ができる？厳しめに検証した結果

「AIがすごい」という話は、毎日のように耳に入ってきます。文章を書く、絵を描く、試験で人間を上回る。そういうニュースには事欠きません。

けれど、いざ自分の仕事に当てはめて考えてみると、どうでしょう。結局のところ、AIは現実の業務でどこまで使えるのか。そこがよく分からない、という人は多いのではないでしょうか。話題の派手さに対して、自分の現場で実際に任せられそうな範囲は、ずいぶん狭く感じる。そのギャップが気になっている方もいると思います。

本記事では、そこに正面から向き合い評価した事例を取り上げます。実在の専門職が日々こなしている本物の仕事を、そのままAIに解かせています。図面から3Dモデルを起こす。財務諸表を組み立てる。X線画像を読んで所見をまとめる。そうした現場の作業を、最新のAIエージェントがどこまで仕上げられるのか。結果を見ていくと、ニュースの見出しだけでは見えてこないAIの素顔が表れていました。

いまのAIが実務でどこまでやれて、どこで詰まるのか。一見すると完璧な手つきなのに、なぜか肝心の中身を落としてしまう。そんなAIのつまずき方の記録を、じっくり見ます。

AIエージェントは「答える」のではなく「仕事をする」

本題に入る前に、言葉を一つだけ整理しておきます。

最近よく聞く「AIエージェント」は、質問に答えるチャットボットとは少し違います。チャットボットは、聞かれたことに文章で答えて終わりです。

一方、エージェントは、もう少し大がかりなことをします。目標を渡されると、自分でソフトを開いて、ファイルを読み書きして、コマンドを打って、ときには何十ステップもかけて作業を進めます。そして最後に、成果物を仕上げて提出する。たとえるなら、チャットボットは「質問に答えてくれる相談相手」で、エージェントは「実際に手を動かして仕事を片づける担当者」です。

この違いが、テストの作り方にも影響します。クイズなら、正解か不正解かで採点できます。でも実務の成果物は形がバラバラです。3Dモデルかもしれないし、表計算のファイルかもしれないし、動画かもしれない。しかも、途中の一手を間違えると全体が崩れてしまう。だからこそ、エージェントが本当に仕事を「やり遂げられる」かどうかは、クイズとは別の物差しで測る必要があります。

今回の評価は、その「別の物差し」を用意したものです。

本物の実務をやらせた

今回取り上げる評価は、一言でいえば「AIの実力テスト」です。ただし、出題がかなり変わっています。

ふつうのテストは、問題を人工的に作ります。でも今回は、専門家が実際に何日もかけて仕上げた本物の案件を持ち寄って、それをそのまま出題に使いました。入力ファイル、使うソフト、期待される成果物、採点基準まで、全部セットで再現されています。

対象になった分野は幅広く、エンジニアリング、ライフサイエンス、金融、医療、3DCG、法務などが含まれます。コンピュータで完結するあらゆる職種を網羅しようとしていて、250人を超える専門家が協力しています。

採点は人の手を介さず、自動で行われます。多くのタスクには「ここが通らなければ即0点」という関門が置かれていて、見た目だけそれらしい提出物に点が入らないよう工夫されています。

評価の主役は、画面を見てクリックもできるし、コマンドも打てる「なんでもこなす」タイプのエージェントです。

ここで一つ、構造を押さえておくと後が分かりやすくなります。こうしたエージェントは、二つの部品でできています。一つは「モデル」。GPT-5.5やClaudeといった、頭脳にあたる部分です。もう一つは「ハーネス」。モデルの周りで、作業の段取りやツールの受け渡しを取り仕切る仕組みです。後ほど、この二つのどちらが成績を左右するか、という話が出てきます。

難易度は三段階に分かれています。いまの時点でも部分的に解ける「近未来」層、全分野をまんべんなくカバーする「全分野」層、そしてほとんど誰も完答できない「最難関」層です。

最難関の問題は、ほぼ誰も完答できなかった

まず全体像を見てみます。

最難関ティアの完答率は、ほとんどの構成で0%でした。「完答率」というのは、提出物が満点の判定を受けた割合のことです。コーディングのテストで上位を独走するような最強の構成でさえ、ここでは1問も満点を取れていません。

代表的な構成の完答率を、表にまとめます。左から右へ、難しくなっていきます。表のなかの「ALE-Claw」は、評価側が用意した簡易な構成です。

最も成績の良い構成でも、全体を通した完答率は24%です。部分点は積めても、最後まで仕上げ切れる仕事は4件に1件にも届きません。

この厳しさは、これまで「難しい」とされてきたテストと比べるとよく分かります。プログラマー向けの、コマンド操作中心の有名なテスト集があるのですが、そこでは最強の構成が8割を叩き出します。ところが、今回の評価のうちコマンドだけで解けるタスクに絞っても、同じ構成の完答率は2割少し。最難関に絞れば、やはり0%です。

同じエージェントなのに、現実の業務に近づけるほど壁が高くなる。そういう傾向がはっきり見えます。

性能を決めたのはモデルで、枠組みではなかった

次の発見は、技術を選ぶときにいちばん響くかもしれません。

先ほど、エージェントはモデルとハーネスの二段重ねだ、と書きました。成績を左右していたのは、周りの段取り役であるハーネスのほうではなく、土台のモデルそのものでした。

料理にたとえると分かりやすいです。ハーネスは厨房の設備や調理の段取り、モデルは料理人の腕にあたります。今回の結果は、「どんなに厨房を整えても、腕そのものの差のほうがずっと大きく出る」というものでした。

数字を見てみます。同じハーネスを使って、載せるモデルだけを差し替えた場合、全体の完答率は最大で約17ポイント動きました。いちばん下のモデルで4.3%、いちばん上で21.1%。かなりの差です。

一方、モデルを固定してハーネスだけを取り替えた場合は、差は5〜7ポイントほどにとどまりました。プロンプトの組み方やツールの呼び出し方といった作り込みの差は、意外と小さかったのです。モデル選びの影響は、ハーネス選びのおよそ3倍でした。

つまり、エージェントの枠組みをいくら磨いても、土台のモデルが弱ければ頭打ちになりやすい。どの製品やサービスを使うかの前に、その内側でどのAIモデルが動いているかを確かめるほうが、判断の手がかりになりそうです。

お金も時間もかけたのに、成績は伸びなかった

高いモデルや長い実行時間を使えば成績が上がるかというと、そうでもありませんでした。ここで使う指標は、完答率ではなく、部分点も含めた平均スコアです。

いちばん高い平均スコア（45.8%）を出したのは、簡易な構成にGPT-5.5を載せた組み合わせでした。AIを動かすのにかかった利用料金は326ドルです。

ところが、同じ構成でモデルだけをClaudeのOpus 4.7に替えると、料金は3.6倍の1,164ドルにふくらみました。それなのに、スコアは5ポイントほど下がっています。全構成で最も費用がかさんだ組み合わせは2,402ドルを使って、結果は40.5%と平凡でした。

実行時間でも似たことが起きています。トップのスコアは約51時間で出ました。一方、別の構成は466時間もかけて、それより低い37.2%に終わっています。最速で終わった構成は24時間でしたが、スコアは25.7%。速ければいいわけでもありません。

AIが処理した文章の量（トークン）についても同じです。少ないトークンで高スコアに届いた構成もあれば、大量に処理しても低スコアの構成もありました。

費用と時間を積み増せば解ける、という性質の難しさではないようです。

手の動きではなく頭の中に問題がある

では、なぜ詰まるのか。失敗したタスクを一つずつ分析して、原因を分類した結果があります。

目を引くのは、「方針の誤り」と「理解の不足」を合わせると、失敗のおよそ四分の三になるという点です。キーボードを打つ力やファイルを書く力が足りないのではなく、「何をどうやるべきか」がそもそも分かっていない。そういう構図です。

実際、専門知識が足りないエージェントには、ある共通した振る舞いが見られました。本来使うべき業務ソフトを避けて、その場しのぎのスクリプトで片づけようとするのです。画面操作が必要なソフトを指定されたタスクは全体の3分の1あるのに、実際にはコマンドでの回り道に置き換えてしまうケースが多く見られました。

見た目は完璧でも、中身で取りこぼす

全体の数字も雄弁ですが、個々の作業ログを覗くと、もっと生々しいつまずき方が見えてきます。五つの事例を紹介します。分野が多岐にわたるので少し面食らうかもしれません。

射出成形のシミュレーション

エージェントは専用ソフトを開き、四つの空洞を持つ金型のデータを読み込みました。圧力の設定画面まで正しくたどり着いて、操作の手順はほぼ完璧でした。

ところが、ソフトの計算が終わるのを待ちませんでした。結果ファイルが書き出される前に、圧力や重量の数値を見繕って提出してしまったのです。提出された数字は計算結果ではなく、当て推量でした。

オーケストラ譜の採譜

音源を読み込んで楽譜ソフトを操作し、演奏データの書き出しまではたどり着きました。けれど、課題が求めていたPDF形式の楽譜と、確認用のスクリーンショットが提出されませんでした。

採点は即0点。音の精度を評価する以前に、「必要なものが揃っていない」という関門で止まっています。

緑の背景を抜く映像合成

鳥の映像素材から緑の背景を抜いて、空の映像に重ねる課題です。エージェントはそれらしい映像を書き出しました。一見、うまくいったように見えます。

でも、見本の画像で指定されていた構図を再現できていませんでした。ソフトの操作はできたのに、「何を作るべきか」という読み取りの段階でずれていたのです。

キャラクターの動きの再現

静止した3Dモデルに骨格を組んで動かし、必要なファイルは一通り揃えました。でも、見本の動画が約13.6秒だったのに対し、提出されたプレビューは約4秒しかありませんでした。しかも、モデルが崩れるのを避けようとして、動きが小さく抑えられていました。

ファイルとしては成立していても、動きの忠実さという肝心の要件を満たせていません。

胸部X線の判定

九つの症例について、二人の読影者の所見を見比べて、より妥当なほうを選ぶ課題です。形式の整った表は提出できました。

ただし、実際にX線画像を丁寧に見たのは一部の症例だけでした。残りは、座標や経験則で処理していたのです。書式を守る力は十分でも、一例ずつ目で見て判断するという肝心の部分が追いついていませんでした。

五つの事例に共通すること

並べてみると、パターンが見えてきます。

どの事例でも、提出物の見た目は整っています。でも、専門職なら当たり前にやる「詰めの一歩」が抜けている。計算結果を待つ。見本に合わせる。必要なものを全部出す。最後までやり切る。実際に目で見る。その一手があるかないかで、合否が分かれていました。

コードに近い分野ほど成績が良かった

分野ごとの成績にも、はっきり濃淡が出ました。

プログラムやデータ分析に近い領域ほど成績が高く、専門色の濃い実務ほど低い。この濃淡は、AIが学習する段階で触れるデータの偏りを反映していると考えられます。コードに近い分野は学習の機会が多いぶん有利で、それ以外の職種向けの専門知識は手薄になりがち。その差がそのまま点数に出た格好です。

まとめ

現実の専門業務を物差しにすると、最新のAIエージェントは、手順を知っていてもソフトを触れても、詰めの一歩で取りこぼす場面が目立ちました。

「結局どの仕事で使えるのか」という最初の問いに立ち戻ると、いまのAIは「人が最後に中身を確かめる」という前提つきなら、多くの作業を肩代わりできます。ただし、丸ごと任せ切るには、まだ届いていない。それが正直なところです。

成績を左右したのは、枠組みの作り込みよりもモデルそのものの力でした。費用や時間を増やしても成績は伸びず、つまずきの大半は操作の失敗ではなく、そもそも何をどうやるかの理解と方針の段階にありました。

裏返して見ると、ここで点が伸びるようになったときには、テストの上での勝利と、現実の業務をこなせる力とが、かなりの部分で重なっているはずです。

本記事の関連研究