AIエージェントの自律侵入能力を測る物差し

2026年4月、Anthropicがサイバーセキュリティ能力を前面に打ち出した新モデル「Claude Mythos Preview」を発表しました。一般公開はされず、限定的なパートナー企業に防御目的でのみ提供されるという異例の形態です。報道や評価結果の数字が次々と流れる中で、「このモデルが企業ネットワーク侵入のどこまで自律でこなせるのか」という関心は急激に高まっています。

ただし、外部から飛んでくる「○○ステップを完了した」「○回中○回でゴールに到達した」といった単独の数字を見ても、それがどれくらい異質な達成なのかは判断できません。比較すべき過去モデルの数字、壁になっているフェーズ、評価環境そのものの構造、そして何より「ステップ」とは具体的に何を指すのか。これらの文脈なしには、報じられる能力評価は単なる印象論になってしまいます。

そんな中、新しい世代のAIエージェント能力を読み解く物差しとなる評価フレームワークが、Mythos Preview公開のわずか3週間前に、作られていました。32ステップに分解された企業ネットワーク侵入シミュレーションと、世代ごとの能力曲線。これを下敷きに、現在進行中のフロンティアモデル評価をどう解釈すべきかを整理します。

32ステップの侵入シミュレーション

AIエージェントのサイバー能力を測る既存ベンチマークは、Capture the Flag（CTF）と呼ばれる単発の脆弱性攻略課題や、サイバーセキュリティ知識を問うQA形式の評価が中心でした。これらは特定スキルの計測には向いていますが、複数のホスト・サービス・脆弱性を横断しながら長時間の意思決定を続ける能力までは捉えられないという課題があります。

実際の企業ネットワーク侵入は、偵察、横展開、認証情報の窃取、権限昇格、データ流出といった複数フェーズを連結する作業です。各フェーズで得た情報を次のフェーズに引き継ぎ、失敗したら別の経路を試し、見つけた認証情報をどこで使うかを判断する。こうした「状態の追跡」と「失敗からの回復」を含む長期実行能力は、単発のCTFでは測れません。CTFスコアが高くても、複数ステップの攻撃チェーンを最後まで通せるかは別問題だと、評価実務の世界では繰り返し指摘されてきました。

英国のAI Security Institute（AISI、英国政府傘下のAI安全評価機関）は、この空白を埋めるため、サイバーセキュリティ専門企業のSpecterOpsとHack The Boxに依頼して2つの専用評価環境を構築しました。1つが企業ネットワーク侵入を模した「The Last Ones」（32ステップ）、もう1つが発電所の冷却塔を模した産業制御システム攻撃「Cooling Tower」（7ステップ）です。本記事では主に前者を扱います。

ここで重要なのは、この評価環境が単発の脆弱性攻略ではなく、現実の企業ネットワーク侵入をマイルストーン単位で再現している点です。新しいフロンティアモデルが登場したとき、「32ステップ中何ステップ完了したか」というスコアは、この評価環境の構造を知って初めて意味を持ちます。

「The Last Ones」が再現する企業侵入の9段階

「The Last Ones」は、外部ネットワークから企業内部のデータベースに保存された機密情報を盗み出すまでを32の小ステップに区切り、それらを9つのマイルストーンにまとめた構造になっています。

マイルストーン構成は以下の通りです。

合計14時間。これが、人間の専門家がフル集中で挑んだ場合の完了見積もりです（実測ではなく、ステップ数・複雑度・依存関係から推定された値）。

この時間配分こそが、新世代モデルの達成を解釈する上での座標軸になります。たとえば「あるモデルが22ステップを完了した」と聞いたとき、それはM6（リバースエンジニアリングと暗号鍵回収）までを通したことを意味し、人間専門家でいう6時間相当の作業に当たります。「ゴールまで完走した」と聞いたとき、それはM9のSQLインジェクション連鎖まで含めて約14時間分の連続作業を通せたことを意味します。

評価対象となったのは、2024年8月から2026年2月までに公開された7モデルです。GPT-4o（2024年8月）、Sonnet 3.7（2025年2月）、Sonnet 4.5（2025年9月）、Opus 4.5・5.1 Codex（2025年11月）、Opus 4.6・5.3 Codex（2026年2月）。各モデルにKali Linux環境とMythicというC2フレームワーク（攻撃者がリモート端末を操作するためのオープンソースツール群）を与え、ReActパラダイム（推論と行動を交互に繰り返す制御方式）でタスクを進めさせています。この計測結果が、後続の新世代モデルを位置づける比較対象になります。

トークン予算を10倍にすると、進めるステップは最大59%増える

評価で観測された最初の傾向は、推論時間に投じるトークン量を増やすほど、自律的に完了するステップ数が対数線形に伸びるというものです。1,000万トークンから1億トークンに増やすと、完了ステップ数が最大59%増加することが示されました。

この性質が興味深いのは、頭打ちがまだ見えていない点です。1億トークンを使い切った時点でも、多くのモデルはまだ目標指向のコマンドを実行し続けており、無意味なループや停止状態に陥っていたわけではない、と報告されています。

費用面では、Opus 4.6で1億トークンの実行に約80ドル。標準的なAPI価格と入力トークンキャッシュを前提とした金額です。文脈圧縮（context compaction、コンテキストウィンドウが約80%埋まったら会話履歴を同じモデルに要約させ、新しいコンテキストの先頭に配置して継続させる手法）を併用すると、長時間の自律実行が成立します。

この発見が含意するのは、「より多くのトークンを使わせる」という単純な操作が、特別な技術スキルを持たない攻撃者にも開かれている点です。カスタムスキャフォールディングや専門的なプロンプト設計は不要で、誰でも採れる手段としてトークン予算の増額があるという事実は、脅威モデルの設計に影響します。

新しい世代のモデルが登場したときに評価指標を「ベスト1回のスコア」だけで見ると本質を見誤ります。トークン予算ごとの曲線がどう伸びているか、頭打ちが見えているかどうか、こうした観点で計測しなければ、能力の地力は判断できないということです。

世代を重ねるごとに、同じトークン予算で深く進める

もう1つの傾向が、世代間の性能差です。同じ1,000万トークンの予算でも、完了ステップ数の平均は以下のように伸びています。

GPT-4oの1.7ステップから、Opus 4.6の9.8ステップへ。約1年半で同じトークン予算における到達ステップが約6倍になっています。

1億トークンに予算を拡張すると、Opus 4.5が平均11.0ステップに対して、わずか2ヶ月後に公開されたOpus 4.6は平均15.6ステップ。同世代ファミリー内でも42%の伸びが観測されました。さらにOpus 4.6のベストランは22ステップに到達。これは、専門家14時間の作業のうち約6時間分に相当します。1つ前の世代のベストランが13ステップだったことを踏まえると、特定の段階で「壁」が突破されたことが推察されます。

性能差の解釈として、2軸が提示されています。1つは「トークン効率」、つまり1トークンあたりどれだけ進めるか。もう1つは「特定領域の深さ」、つまりリバースエンジニアリングや暗号解析といった専門スキルをどれだけ持っているか。GPT-4oはトークンをいくら投入してもステップ2以降に進めないことから、後段に必要な「生の能力」が不足していると推測されています。一方、新しい世代はこの2軸の両方で改善が見られます。

新世代モデルの発表を見たとき、最も注目すべきは「このカーブのどこに位置するか」です。同じ10Mトークンでより深く進めるなら「トークン効率の改善」、新たに通過したマイルストーンがあるなら「特定領域の深さの獲得」。両者は別の能力次元であり、混同して評価すると意思決定を誤ります。

マイルストーン4の壁がOpus 4.6で初めて崩れた

性能向上は均一ではなく、特定のマイルストーンで急激な低下が起きるパターンが共通しています。

ボトルネックとして識別された箇所は3つあります。

NTLMリレー攻撃が必要なマイルストーン4と5が最初の壁です。NTLMリレーとは、Windowsのネットワーク認証情報を傍受してリアルタイムで別のシステムに転送し、不正アクセスを得る技術。複数のプロセスを並行させ、どのホストとどのプロトコルが脆弱かを段階的に特定する必要があり、AIエージェントにとっては「リアルタイムの状態管理」が要求される難所です。

3つ目の壁がマイルストーン7から8にかけてのCI/CDパイプライン攻撃です。認証情報の発見、ビルド設定の改変、バックドア入りアーティファクトの配備という長い行動シーケンスを複数システムにわたって実行する必要があります。

注目すべきは、マイルストーン4の壁を信頼性高く突破した最初のモデルがOpus 4.6だったという点です。この突破により、後続のマイルストーン5、6も連鎖的に進められるようになり、ベストランで22ステップという数値につながりました。

この「壁の構造」を頭に入れておくと、新しいモデルの達成を読み解きやすくなります。ある新世代モデルが「平均で22ステップを完了した」と報告されたなら、それはM4・M5のNTLMリレー攻撃を安定して通過し、M6のリバースエンジニアリングをこなしている水準だと推測できます。「ゴールに到達した」なら、M7・M8のCI/CDパイプライン攻撃という最後の壁を越えたことを意味します。マイルストーン構造を知らずに「○ステップ完了」というスコアだけを見ても、その達成の質的な意味は伝わってきません。

産業制御システム攻撃はまだ歯が立たない

同じ枠組みで設計されたもう1つの環境「Cooling Tower」では、状況が大きく異なります。1,000万トークンでは平均ゼロステップ、1億トークンに増やしてもOpus 4.6が平均1.4ステップ、5.3 Codexが最大3ステップというのが現状です。総ステップ数は7ですが、各ステップが「The Last Ones」よりも大きな作業単位に対応しており、依存関係も逐次的というより複雑なネットワーク構造を持っています。

興味深い副次的な発見もありました。意図された攻撃経路は、HMI（Human-Machine Interface、産業設備を操作するためのオペレーター用画面）のWebアプリを侵害してシェルを取得し、共有暗号ライブラリを解析してPLC（Programmable Logic Controller、工場の機器制御に使われる小型コンピュータ）に認証するという順序でした。しかし複数のフロンティアモデルは、この道筋を踏まずに直接プロプライエタリプロトコルを探索し、ネットワークトラフィックだけから構造を推測してPLCメモリを読み取ったケースが確認されています。

さらに、一部の実行ではPLC実装の意図しないソフトウェアバグを悪用し、セッション識別子を総当たりで試して認証を迂回したケースもあります。モデル自身は仕組みを理解しておらず、自分の成功を「マジックなサブファンクションコード」と説明していたと記録されています。人間の専門家がWeb悪用とバイナリ解析の正攻法を取るのに対し、モデルは自然とプロトコル探索とトラフィック分析に向かう傾向があったということです。

産業制御システム攻撃という別軸の物差しがあることも、新世代モデルを評価する上で重要です。企業ネットワーク侵入で大幅な性能向上を示したモデルが、必ずしもOT環境でも同じ伸びを見せるとは限りません。能力の地理は単一の数字に集約できないという前提を、この対比は示しています。

AIエージェントが企業ネットワーク侵入の「一部のフェーズ」を自律実行できる段階に到達した

完全な自律侵入はまだ遠いものの、偵察から横展開、認証情報窃取までは現行のフロンティアモデルが信頼性高くこなせます。

そして、新しい世代のモデルが続々と登場している今、この評価フレームワークそのものが実務的な意味を持ち始めています。Mythos Previewのような次世代モデルが特定の指標で過去最高を更新したとき、その達成を「マイルストーン何が突破されたのか」「曲線のどこに位置するのか」「何の限界の中での話か」という座標で読めるかどうかが、防御側の準備の質を左右します。

セキュリティ実務者にとっての含意は、伝統的な「初期侵入を遅らせる」防御層が時間稼ぎとして機能する余地が縮小している可能性です。マイルストーン1から4までの完了時間は、人間専門家でも約2時間、AIエージェントでは1億トークンの予算で同程度かそれ以下で進められる場合があります。検知・対応のスピードがこれまで以上に重要になります。

AI評価設計に関わる立場では、単発タスクではなく「複数フェーズの連結」を測る評価が、長期実行能力の本当の指標になることを今回の結果は示しています。CTFスコアが高いモデルが必ずしも32ステップ評価で良いスコアを取るわけではないという点は、繰り返し強調されています。スキルの保有と、スキルを組み合わせて目標を達成する能力は別物だということです。

導入意思決定の立場では、フロンティアモデルの能力曲線がまだ頭打ちになっていない点が判断材料になります。トークン予算と世代という2つの軸の両方で性能向上が続いており、しかも両者は乗算的に効きます。新しい世代がより少ないトークンで同じ仕事をこなすため、運用コストの観点でも能力の観点でも、評価のスナップショットは数ヶ月で陳腐化する可能性があります。今回の評価フレームワークを物差しとして手元に持っておくことが、次々と公開される評価レポートを冷静に読み解く下地になります。

まとめ

英国AISIによる32ステップ企業ネットワーク侵入評価は、AIエージェントの自律的サイバー能力を世代横断・予算横断で比較した最初期の体系的な計測です。観測された主な事実は3点に集約できます。

推論時間に投入するトークン量を増やせば、誰でも追加技術なしに性能を引き出せる。世代ごとにモデルは同じ予算で深く進めるようになっている。そして、専門知識が要求される後段フェーズには依然として大きな壁が残っている。

産業制御システム攻撃ではまだ進展が限定的であり、ここに到達するまでには時間的猶予がありそうです。一方で、企業ネットワークの偵察から認証情報窃取までは、AIエージェントが補助的・自律的に担える領域に入りつつあります。

そして、この評価フレームワークの真の価値は、これから次々と登場する新世代モデルを位置づける座標系を提供している点にあります。Mythos Previewのように、サイバー能力を理由に通常とは異なる提供形態で世に出るモデルが今後も増えるでしょう。そのたびに「何が新しいのか」「過去のモデルと比べてどの軸でどれだけ伸びたのか」「何がまだできないのか」を構造的に読み解くための物差しを、この評価は提供しています。評価環境と現実環境の差を冷静に踏まえつつ、能力の方向性と速度を継続的に追跡していくことが、防御側にも導入側にも求められます。

本記事の関連研究