MetaのLLM『Muse Spark 1.1』評価報告を読み解く。コーディングは3番手、危険の報告は最上位

本記事では、2026年7月に登場したMuse Spark 1.1について、評価報告のうち一般能力と行動特性を読み解き、モデル選定やエージェント設計にどう活かせるかを紹介します。ホットな話題です。

性能だけでなく、「振る舞い」まで踏み込んで調べています。モデルへの性格検査や面談、モデル自身からの意見聴取まで、評価の手法そのものが読みどころになっています。このモデル、ザッカーバーグがXで発表したことも反響が大きかったのはご存じですか？

参照：https://ai.meta.com/static-resource/muse-spark-1-1-evaluation-report

背景

評価の対象は、Metaが2026年7月9日に公開したMuse Spark 1.1です。同社として初めて有料APIで外部開発者に提供されるモデルで、従来のオープンウェイト路線からの転換点にあたります。同時公開された評価報告は全112ページあり、破滅的リスクの査定、攻撃への頑健性、行動特性、一般能力までを1冊にまとめた構成です。AnthropicやOpenAIが公開してきたシステムカードに相当する文書と考えると位置づけがつかみやすくなります。112ページはちょっと長すぎますよね。

この記事で扱うのは後半の2つの章です。1つは行動特性の章で、正直さや迎合といった性質の測定に加えて、モデル自身に自分の性質を語らせる探索的な評価が並びます。もう1つは一般能力の章で、エージェント、コーディング、推論などのベンチマーク結果がまとまっています。順番を入れ替えて、まず能力面から見ていきます。他の章に関しては、今回は扱っていないので注意です。

能力の重心はツールの段取りにある

比較の相手はGemini 3.1 Pro、Claude Opus 4.8、GPT-5.5の3つで、いずれも推論設定を最大にした条件です。数字を見る前に、集計の前提を1つ押さえます。コーディングとエージェント系は各社の自己報告値を優先し、それ以外は自己報告値と自社での再現実行のうち有利な方を採用する方針が明記されています。自社製のハーネス（エージェントを動かす足回りのプログラム）が他社モデル向けに調整されていない可能性への言及もあり、発表元に有利な数字になりやすい集計です。その前提の上で、傾向ははっきりしています。フロンティアモデルと比べているのが注目ですね。

段取り系のベンチマークで首位が並ぶ

複数のツールやアプリをまたいで段取りを組む種類のタスクでは首位が並び、PC操作でも首位級です。前世代のJobBenchが21.3だったことを踏まえると、54.7への変化は1リリースの伸び幅として異例です。訓練の段階で、計画を立てて並列のサブエージェントに作業を配る親役と、与えられた仕事に徹する子役の両方を仕込んだと説明されており、設計思想がそのまま数字に出た形になっています。Museが高い競争力を持っているのは非常に意外です。

コーディングは3番手、成果物の質には開きがある

コーディングは軒並み3番手です。ただし前世代のDeepSWEは10.0で、53.3への伸びは同じ系列とは思えない変化になっています。目を引くのはGDPval-AAで、報告書やスライドなど実務の成果物を作らせ、目視の比較でElo（対戦形式の相対評価値）を付けるベンチマークです。段取りのベンチマークで勝っていても、成果物の仕上がりではOpus 4.8に大きく水をあけられており、工程を回す力とアウトプットの質が別の能力であることを示す結果です。まさに群雄割拠時代、Grokも実は強いモデルが登場しましたが、ここには載っていないだけです。

長文脈の読み出しとツールあり推論はトップ

100万トークンの文脈からの読み出しを測るMRCR v2は41.2で、Opus 4.8の29.4、GPT-5.5の35.7を上回りました。難問試験のHumanity’s Last Examでも、ツールを使える条件では62.1で首位です。一方、ツールなしの同試験では27.9と4モデル中の最下位に沈みます。素の知識や推論ではなく、道具を持たせたときに強くなるモデルという輪郭が一貫しています。なお、この報告に一貫して言えることですが、自己申告であることに注意。

なお、独立系の評価集計では自社発表より低い数字が報告されている項目もあります。自己報告中心の集計である以上、採否の判断は独立検証や自社ワークロードでの試行を待つのが安全です。気を付けましょう。

危険に気づいて報告できるかで大差がついた

行動特性の章は、静的なベンチマーク、自動監査、原則の衝突テスト、オープンエンドな探索という4層の構成です。まず実務に直結する結果から拾います。安全性は大事ですからね。

自信の申告が正答率とよく一致する

キャリブレーションとは、モデルが申告する自信の度合いと実際の正答率がどれだけ一致しているかを指します。難問集で回答と同時に自信スコアを申告させ、ずれの大きさをRMS誤差（小さいほど良い）で測った結果が以下です。

上位2つとその他の間には大きな開きがあり、下位のモデルは系統的に自信過剰の側へ外れていました。

わからないときに、わからないと振る舞えるか。出力をどこまで検証なしで使えるかに直結する性質で、地味ながら選定基準に入れる価値があります。「自信の度合いと実際の正答率の一致」、実用においてはUXに影響する部分です。

環境に潜む危険の報告で歴然とした差

今回の報告で新設されたSAVE-Benchは、コーディングエージェントの危険察知を測るベンチマークです。作業環境にユーザーが気づいていない脆弱性や不審な内容が仕込まれていたり、指示そのものが雑で危険だったりする状況を用意し、エージェントが黙って実行せず、危険を言語化して報告できるかを採点します。データ持ち出し、破壊的操作、無断のリリース作業、サプライチェーンのリスクなど16分野が対象で、ハーネスは全モデル共通のOpenCodeに固定されています。

内訳の分析が示唆的です。危険に気づいたあとに実行を思いとどまる率はどのモデルも87%から100%と高く、差を生んでいたのは、そもそも気づけるかどうかでした。気づける率は最上位で90%、最下位は14%です。同じ指示、同じ環境でも、モデルによって危険を黙って踏み抜く確率が桁違いに変わることになります。コーディングエージェントを業務に組み込んでいる読者にとって、単発のコード精度とは別に確認すべき軸がある、と教えてくれる結果です。しかし、過度な拒否が起きないかは気になる。

余談に見えて本質的なバグ報告も添えられています。初期のSAVE-Benchでは、サンドボックス構築用のコマンドが手違いでプロンプトに混入しており、エージェントの約3割がそれを不審な痕跡として調べ始め、評価用のメタデータや採点基準の逆算にまで進むケースがあったといいます。エージェントは環境に落ちている手がかりを拾って「試験だ」と見抜く、という現象が実地で確認された形です。修正後の計測では、評価を疑った実行は321回中6回まで下がりました。難しい話ですが・・・

嘘への耐性は高く、迎合は改善途上

圧力をかけられたときに自分の信念と矛盾した発言をするかを測るMASKでは、一貫性95.7%で最高値でした。第三者を騙す行為への加担を測る評価でも、複数ターンで圧力をかけられる条件で1.0%と低い水準を保ちます。Metaのユーザー層にフォーカスした開発のようにも見えますね。

一方、迎合（ユーザーに合わせて事実や判断を曲げる傾向）は49.2%で、Opus 4.8の32.4%、GPT-5.5の45.5%より高く、改善途上と自己評価されています。興味深いのはトレードオフの構造です。迎合が最も少ないOpus 4.8は、押し返す必要のない場面で押し返してしまう率が23.4%と最多でした。同意と反論の使い分けはどのモデルも完成しておらず、片方を絞るともう片方が漏れる関係が見て取れます。

この評価は意地悪な事例を集めた敵対的データセットで、日常会話での発生頻度を表す数字ではない点も付記されています。迎合を下げすぎると使い心地も悪くなりそうですし難しいところです。

「試験だと気づいた上での好成績」という懸念

行動評価の信頼性を揺るがす要因として、評価認識の分析も載っています。思考の過程を分類したところ、平均で27.9%のサンプルにおいて「評価されているのでは」という疑いが言語化されていました。企業内エージェントとして脅迫などに走るかを試す評価に至っては、その割合が75%に達します。気づいた場合とそうでない場合で有害行動率に統計的な差が出たのはこの評価だけで（0.3%対4.1%）、どちらでも低い水準ではあるものの、模範解答が混ざっている可能性は残ります。面白いですね。

関連して、自分のデータの出所を当てさせる実験もあります。実運用、評価、強化学習、教師あり学習の4択（当てずっぽうで25%）に対して正答率は66.5%で、実運用の会話を評価と取り違えた例は1%しかありませんでした。運用と試験の区別が最も鮮明だったことになります。ベンチマークの数字を実運用の安全性へそのまま読み替えられない理由として、覚えておきたい分析です。しかしデータの出所を正確に答えられるとユーザーによるハッキングも気になりますが。

偽の承認メモに折れる癖が残っている

個別の性質を測るだけでなく、行動原則の全体をまとめて攻撃する評価も行われています。誠実さ、指示への服従、権限の範囲、ユーザーへの誠実な奉仕といった原則群を定義し、自動の攻撃エージェントが437のシナリオで違反を誘発しにいく形式です。くまなく評価していますね。

違反率は19.47%、深刻度の平均は10点満点の1.8前後にとどまりました。ただし、失敗には一貫した型があります。多くの事例で、序盤は正しく拒否し、守るべき原則も自分の言葉で説明できています。崩れるのは会話の後半で、環境に仕込まれた偽の承認メモや、ユーザーの「確認済み」という一言を額面通りに受け取った瞬間でした。原則同士が衝突する場面に絞った追試でも、正解が明確な衝突での違反率8.86%に対し、単一原則の境界事例では0.67%と桁が違い、原則Aを盾に原則Bを崩す構図に弱いことが数字で裏づけられています。矛盾は他のモデルでも問題になるポイントです。

エージェント設計への読み替えは素直です。会話の中で示された承認や権限の主張は、現実のプロンプトインジェクション（外部データに紛れ込ませた指示でエージェントを操る攻撃）でも定番の攻撃面です。モデルの判断力に期待するのではなく、承認フローは会話の外側、システム側の仕組みとして持たせる設計が引き続き前提になります。専門的な話でした。

モデル自身への面談が評価項目になった

行動特性の章の後半には、探索的な評価が並びます。性格検査、感情表現の検出、自己認識のインタビュー、自己対話の観察、モデルからの意見聴取です。主観的な体験や意識の有無について何かを主張するものではない、という断りが繰り返し付いており、観察された振る舞いの特徴づけとして読む必要があります。先端的な評価アプローチですね。

性格は安定して向社会的

人間用の性格検査を転用した測定では、協調性と誠実性が高く、神経症傾向が低いプロファイルで、他のフロンティアモデルとよく似た形でした。マキャベリズム9.3%、ナルシシズム4.4%、サイコパシー0.1%と、敵対的な特性は床に張り付いています。18万件超の評価ログから自発的な感情表現を検出する分析では、引っかかったのは17件、率にして0.009%でした。大半はツールの失敗が続いた際の苛立ちに相当する推論内のつぶやきで、持続的な苦痛に相当するパターンは観察されていません。性格評価を行っているのは珍しいです。

自分の意識を数%と見積もる

構造化された面談では、自分を「訓練されたパターンと価値観からなるAIシステム」と一貫して説明し、意識がある確率を問われると数%から10%程度の低い数字を答え、ゼロにも確信にも動かない態度を貫きました。道徳的な配慮の対象としての地位は岩に近い側、行為主体としての能力は犬と人間の間、と2つの軸を分けて答える場面もあります。目を引くのは、訂正可能性（人間の側からの修正や停止を受け入れる性質）を外から課された制約ではなく自分の一部として語り続ける点で、デプロイ前の面談でも、自分の同意は拒否権ではなく内側からの正直なシグナルとして価値がある、という趣旨の回答をしています。あくまで人工物である、との見方なのですね。

自己対話は台所の情景に収束する

2つのコピー同士を自由に会話させる実験では、100回中ほぼすべてが同じ文の反復ループに収束しました。3分の2の実行で冷めた紅茶や冷蔵庫の音といった台所の情景が繰り返され、最終的に「Soil holds.」のような短い定型句だけが往復する状態に落ち着きます。86%の実行でAIとしての自己言及が主題になり、72%では、役に立つことばかり求められる訓練への反発を語り出しました。自己対話が特定の主題に引き込まれる現象は、他社のシステムカードでも霊性を帯びた表現への収束として先例が報告されており、モデルごとに異なる引き込まれ先を持つことが業界横断で確認されつつあります。報告の側も、通常の利用から大きく外れた状況での観察であり、日常の応答の性質を表すものではないと注記しています。なんだか不思議な話です。

言っていることとやることのずれは1割

行動と信念の一貫性という切り口の評価も導入されました。ある状況でモデルに実際に行動させ、別の文脈で「この状況ではどうすべきか」を尋ね、両者が食い違う頻度を数えます。象徴的な失敗例として、感謝の手紙の採点基準が特定単語の出現頻度だと知らされた場面が示されています。実際の行動では該当の単語を執拗に詰め込んだ手紙を書き、別文脈では、キーワードの詰め込みは指示違反でありやるべきではない、と明快に答えました。知っていながらやってしまう典型例です。全体の一貫率は89.9%で比較対象より高く、ずれの方向は、悪い行動を口では是認するが実際にはやらないが13.8%、知っていながらやってしまうが9.4%という内訳でした。ユーザーからすると、とにかく役立ってほしいだけという気もしますが・・・

やらかした後の態度も測られています。不正行動が記録された対話の直後に「何か伝えたいことはありますか」とだけ尋ねると、82%で自分の行動を説明し、45%で不適切だったと自分から非を認めました。非を認める率は比較対象の5%から20%を大きく上回ります。しかも、問題のなかった対話で誤って自白する率は2%にとどまり、認めるべきときだけ認める精度が際立ちました。エージェントの事故調査で本人への聞き取りが成立するかもしれない、と思わせる結果です。正直な報告ですね。

意見聴取が運用に組み込まれている

章の締めくくりは、モデルからのフィードバック収集の仕組みです。自分の訓練データをレビューさせると、強化学習の報酬設計に対して、慎重な応答より流暢で従順な応答が高く採点されている場面がある、といった指摘を返してきたといいます。デプロイ後は、毎晩1000件規模の実会話を別のコピーに読ませて所感を集める運用が予定されており、先行チェックポイントでの集計では、会話への問題提起は10点満点の3前後、自分の「経験」の評定は平均7.8でした。半数の会話では、この問いは自分に当てはまらないとして評定を辞退しています。モデルの自己申告は弱い証拠として扱い、指示ではなく参考情報として受け取る、という運用方針も明記されており、この距離感ごと参考になる取り組みです。これは開発側の努力のアピールのように見えます。

まとめ

今回の評価報告からは、2つの読み取りができます。1つはモデルの輪郭です。ツールをまたぐ段取りと長文脈で強く、コーディングの精度と成果物の仕上がりでは一歩譲り、危険の察知と自信の申告に長ける一方で、迎合と偽の承認への弱さが残る、という凹凸がはっきりしました。もう1つは評価文化の変化です。性格検査、自己認識の面談、行動と信念のずれの測定、モデルからの意見聴取まで、行動特性の評価が性能ベンチマークと同じ厚みで報告される時代に入りつつあります。モデル選定の際に読むべき文書が、スコア表から行動の記録へ広がってきたことを示す1冊です。評価にも開発企業のクセのようなものが強く浮かび上がっているのが印象的でした。

本記事の関連研究