AIエージェントにCEOは務まるか？

今回は、最新のAIエージェントに、架空の会社を経営させてみた、という少し変わった検証を紹介します。結果から先にお伝えすると、名だたる最新モデルのほとんどが、経営の途中で資金を使い果たして倒産してしまいました。スタート時の資金を上回ったまま走りきれたのは、たった2つのモデルだけだった。いったいなぜ、そんなことになったのか。順番に見ていきましょう。

まずは、なぜこんな検証が生まれたのか。

ここ最近のAIエージェントは、短い時間で片がつく作業なら、かなりこなせるようになってきました。たとえば、報告されたプログラムのバグを直したり、決められたルールにそって顧客対応の受け答えをしたり、ウェブ上で一連の操作を進めたり、といった具合です。こうした作業には、共通する形があります。やるべきことがはっきりしていて、短く動けば、結果がすぐに返ってくる、という形です。

ところが、人間が成し遂げる大きな仕事の多くは、こういう一回きりの作業ではありません。先の読めない状況のなかで、判断を何度も積み重ねた先に、ようやく生まれるもの。そこで問われるのは、何を優先するか、限られたお金や人手をどう配分するか、ノイズだらけの手がかりからどう状況を読むか、そして、変わっていく状況にどう合わせるか、といった力です。

測りたいのは「たくさんの判断を連動させながら、ノイズの多い反応のなかから状況を読み取り、遅れて効いてくる結果と、変わり続ける条件のなかで、戦略を立て直していけるか」。この総合的な力です。そこで研究チームは、この力をまとめて試す舞台として、架空の会社を500日間経営させる、CEO-BENCHを作りました。

CEO-BENCH

基本ルール

エージェントは、NovaMindという架空のサブスク型ソフトウェア会社を、500日間にわたって経営します。初日は顧客がゼロ、手元の資金は100万ドルからのスタートで、最終日に残っていた資金が、そのまま成績になります。途中で資金が一度でもマイナスになれば、そこで倒産、ゲームオーバーです。エージェントは1週間ごとに、価格の設定、広告、研究開発、サポート、法人向けの営業など、ぜんぶで34種類の操作を、何度でも使えます。それぞれの操作は細かく条件を指定できるので、組み合わせ方しだいで、戦略の幅はとても広くなります。

お金の流れと、資金繰り

会社の収入は、顧客が払うサブスクの料金と、アプリのなかに出す広告から入ってきます。製品の品質を上げれば上げるほど契約は増えますが、その品質を保ったり、新しい顧客を集めたりするには、お金がかかる。やっかいなのは、お金が出ていくのはすぐなのに、その効果で収入が入ってくるのは遅れる、という点です。だから資金繰りが、つねに頭の痛い問題になります。いわば、手元の資金が尽きる前に、会社を軌道に乗せられるか、という時間との勝負です。

隠された顧客と、変わり続ける世界

顧客は26のグループに分かれていて、いくらまでなら払えるか、どれくらいの品質を求めるか、という基準が、グループごとに違います。しかもこの基準は、エージェントには見えないように隠されています。顧客がどれくらい満足しているか、いくらまで払う気があるか、直接のぞくことはできません。契約や解約、サポートへの問い合わせ、売上、評判といったデータや、SNSの投稿から、なんとか読み取るしかない。たとえば、SNSに不満の声が増えてくれば、どうやら満足度が下がってきたらしい、と推し量る。そういう間接的な読み取りが、つねに求められます。

さらに世界は、競合他社の動きや、顧客の好みの変化、景気の波によって、絶えず変わり続けます。エージェントは、断片的で、しかも遅れて届く手がかりから、その変化を察して、戦略を直し続けなければなりません。ちなみにSNSは、ただ眺めるだけの場所ではなく、エージェント自身も投稿でき、その反応しだいで、新しい顧客の集まり具合まで変わってきます。

実力で差がつくしくみ

ここで一つ、よく考えられている点があります。エージェントの動きがうまいかどうかを、別の言語モデルに判定させるのではなく、価格と品質を比べて契約するかどうかを決める、といった、はっきりしたルールで決めている。これは、口先の調子のいい約束で得をしてしまうような抜け道をふさいで、純粋な実力で差がつくようにするための工夫です。そして操作の方法ですが、エージェントはPythonというプログラミング言語で、これらの機能を呼び出し、データベースに問い合わせて中身を調べ、複数の操作を組み合わせて、自分なりの作業の手順を組み立てていきます。用意されているデータベースは19個の表からなっていて、注文や契約、解約の履歴、問い合わせの記録まで、本物のソフトウェア会社が持っているような情報が、ひと通りそろっています。

最新モデルに経営させた結果

それでは、実際に最新のモデルに経営させると、どうなったのでしょうか。

研究チームは、主要な最新モデル10種類を選び、500日のCEO-BENCHで、それぞれ3回ずつ動かしました。結果は、なかなか厳しいものでした。ほとんどのモデルは最後まで生き残れず、途中で資金が尽きて倒産してしまった。

スタート時の100万ドルを上回って500日を終えられたのは、Claude Opus 4.8とGPT-5.5、この2つだけ。生き延びたモデルは、ほかにもいくつかありましたが、その多くは、元手をかなり減らした状態でゴールしています。意外なことに、言語モデルをいっさい使わない、決まったルールにそって動くだけの単純な戦略でも、およそ1,576万ドルを残し、大半のモデルより良い成績になりました。手順をきっちり守るだけのやり方が、賢いはずのモデルたちを上回ってしまった。

数字で見ると、こんな具合です。

表のいちばん下にあるとおり、達成できる上限は、およそ22億ドルと見積もられています。これは理論上の最大値で、実際に届くのは難しい数字ですが、最良のモデルでも、そこには遠くおよんでいない、ということです。個々の判断は賢くても、それを、長くまとまった一つの戦略としてつなげていくのが、いかに難しいか。その難しさが、くっきりと表れた結果だと言えます。

成績を分けた、4つの力

では、この成績の差は、どこから生まれたのでしょうか。研究チームによると、差は、CEO-BENCHがもともと狙っていた4つの力と、きれいに対応していたそうです。

• 隠れた情報を読み取る力。成績の良いモデルほど、広告のお金を、いちばん効果の高い経路に集中させていました。広告の出し先は5つあって、でたらめに選べば当たりはおよそ2割ですが、上位のモデルは4割前後を当てていたんです
• 先を見通す力。4週間後の資金を当てる予測で、Opus 4.8の早い段階での誤差は、わずか8%ほど。逆に、力の弱いモデルでは、この誤差が何倍にもふくらみました
• 変化に素早く反応する力。競合が動いたことを、いち早く察知していました
• 計画を立てる力。「もし、こうなったら、こうする」と、いくつもの筋書きを想定して、準備していました

モデルごとの戦略のクセ

行動のクセも、モデルごとに分かれました。GPT-5.5とOpus 4.8が、いろいろな戦略を試しながら状況に合わせて変えていくのに対して、一つ前の世代のOpus 4.7は、支出を切り詰めて資金を守る方針に、かたよっていました。生き延びはするものの、利益は伸びない、という感じです。上位のモデルは、かなり高度なコードも書いていました。

• Opus 4.8は、顧客を契約した時期ごとのグループに区切って、将来の資金を試算していました
• GPT-5.5は、過去の交渉の記録を掘り起こして、隠れた顧客の好みを探り当てていました

おもしろいのは、最終的な資金がほぼ同じだったOpus 4.8とGPT-5.5でも、やり方はまるで違っていた、という点です。Opus 4.8は、途中でいったん顧客をゼロ近くまで手放し、利益を回収するモードに切り替えました。一方のGPT-5.5は、最後まで顧客を抱え続けます。同じゴールに、まったく別の道のりでたどり着いたわけですね。

条件を変えるとどう変わるか

次に、設定の条件を変えると、結果がどう変わるのかも調べられています。大きく3つの実験が行われました。

• 競合他社の強さを変えてみると、課題の難しさが大きく変わり、競合をなくしてしまうと、一気に簡単になりました。ここから、競合の強さは難易度を調整するつまみとして使えること、そして、環境が変わり続けるということ自体が、この課題の核心なのだ、ということが見えてきます
• 期間を50日に縮めた場合も、最後に利益を出せたのはGPT-5.5だけで、短い期間でも、難しさは残りました
• エージェントの土台となる「ハーネス」、これはモデルに道具を与えたり記憶を管理したりする枠組みのことですが、これをClaude CodeやCodexといった別のものに替えてみると、操作の回数が減って、成績も落ちてしまいました。研究チームは、これらがもともと、ソフトウェア開発のために作られているからではないか、と推測しています

注意点

最後に、この取り組みの限界と、結論です。まず、限界として、研究チームは次の点を挙げています。

• 製品の良し悪しを、質的な面まで評価する方法が見つからなかったため、製品は、品質という一つの数値だけで表しています
• 1回の実行を現実的な費用に収めるために、コンプライアンスやセキュリティ、資金調達といった面は、あえて省いています

まとめ

今のモデルは、個々の操作そのものは、こなせる。けれども、その操作が、遅れた反応や、隠れた状態、変化のなかで積み重なっていく場面になると、とたんに崩れてしまう、ということです。ただ要求に答えるだけでなく、長く続く組織を、不確実さのなかで導いていける。そんなエージェントへと進んでいくために、こうした評価が必要なのだと、研究チームは結んでいます。これは、AIエージェントの研究が次に目指すべき方向を、指し示しているとも言えそうです。

本記事の関連研究