AIエージェントのスキルはモデルごとに最適形が異なる

LLMエージェントの性能を高める手段として、過去の試行から抽出した手順書（スキル）を実行時に参照させる方法が広がっています。スキルは一度作れば、どのモデルにも流用できる共有資産と考えられてきました。

ところが、同じスキルがあるモデルの成績を引き上げる一方で、別のモデルでは明確に引き下げる現象が報告されました。検証対象の中には、何も与えないのが最も高性能というモデルさえありました。

丁寧に書いた指示書がなぜ裏目に出るのでしょうか。モデルごとの相性を見極め、書き換えまで自動化する方法を見ていきます。

スキルの使い回しが前提だった

LLMエージェントの分野では、成功体験や試行錯誤から抽出した手順書を外部のライブラリに蓄積し、意思決定のたびに関連するものを検索して文脈に挿し込む手法が定着しつつあります。ここで言うスキルとは、「探し物は全ての場所を一度ずつ確認する」「電子レンジは扉を開けてから物を入れる」といった短い行動指針のテキストです。Minecraftを舞台にした初期の試みから、対話記録をもとに運用マニュアルを自動生成する研究、試行をまたいで教訓を蒸留する研究まで、蓄積の方法は多様化してきました。

一方で、出来上がったライブラリの扱いはほぼ共通しています。一度構築したスキル群を、性能もサイズも異なる複数のモデルでそのまま再利用する運用です。現実のシステムは遅延やコスト、ハードウェアの制約から、常に最強のモデルだけで動くわけではありません。小型と大型が併存する環境で、同じ表現の指示が等しく機能するのかは、正面から検証されてきませんでした。

兆候はありました。意味が同じでも書式や言い回しが変わるだけでLLMの成績が大きく揺れるという報告や、87%のタスクで「同じスキルから恩恵を受けないLLMが少なくとも1つ存在する」と指摘した報告です。今回取り上げるのは、この相性問題を定量化し、自動的な解決策まで示した、華東師範大学（East China Normal University、中国・上海）の研究チームによる報告です。

同じ指示がモデルによって毒にも薬にもなる

検証の舞台はALFWorld（家庭内の作業を文字のやり取りでこなすシミュレーション環境）です。スキルに書かれた原則の中身は固定したまま、表現の粒度だけを3段階に変えて、Qwen3（Alibabaが公開するオープンモデル群）の4B・8B・14B・32Bで成績が比較されました。粒度は、原則を一文で示す簡潔版（約370トークン）、適用条件を添えた中間版（約1,092トークン）、手順を逐一列挙した詳細版（約2,737トークン）の3水準で、これにスキルなしの統制条件が加わります。

結果は一貫しません。4Bは中間版が最良、14Bと32Bは詳細版が最良です。最も目を引くのは8Bで、スキルなしの32.1%が最高となり、どの粒度のスキルを与えても成績が下がりました。失敗記録の分析によれば、8Bはもともと短く的確な行動連鎖で課題を解く傾向があり、外から与えた手順がその自然な解き方を上書きして、過剰な探索や逡巡を招いていたといいます。スキルが本質的に無効なのではなく、表現の相性が悪かったという解釈です。

法則性も単純ではありません。32Bは詳細版で14Bを4.6ポイント下回り、規模が大きいほど詳しい指示を活かせるという直感は崩れます。4Bでは「もっと詳しく」でも「もっと削る」でもなく中間が最適でした。さらに、同じモデル・同じ粒度の組み合わせでも、タスクの種類によって成功率は60ポイント以上開きます（14Bの簡潔版で、物を拾う課題74.2%に対し冷却する課題13.7%）。単純なルールで最適な書き方を決められないことが、探索による調整が必要になる理由です。

この傾向はQwen3に限りません。Gemma3（Googleが公開する軽量モデル群）では4Bと12Bが簡潔版で、27Bが詳細版で最良となりました。同じ4Bパラメータでも、Gemma3は簡潔版、Qwen3は中間版と最適解が分かれており、規模だけでなくモデルの素性全体が相性を決めていることがうかがえます。

モデルのカルテを手がかりに指示書を書き換える

ではどう合わせるのか。鍵になるのがモデルカードと呼ばれるプロファイル文書です。パラメータ数や文脈長などの構成情報、チューニングの来歴、得意分野と弱点をまとめた1枚で、得意分野は公式の公開情報から転記され、弱点は少数の予備走行で観察されたふるまいを教師役の大型モデル（DeepSeek-V4）で要約する形で自動生成されます。

書き換えの流れは、対象モデルを環境で走らせて失敗した行動記録を集め、失敗の原因を構造化したうえで、モデルカードを踏まえてスキルを改稿する、という反復です。改稿版は再評価され、成績が上がったときだけ採用されます。評価指標には成功率だけでなく、環境が何も変化しない「空振りの手」の割合がペナルティとして組み込まれており、指示が原因の立ち往生を検出できる設計です。

探索は二段構えになっています。全タスク共通の一般スキルは、改稿と採否判定を繰り返す山登り法（良くなったときだけ更新する逐次探索）で磨かれます。タスク種別ごとの特化スキルは、同じ課題に複数の解き筋がありうるため、UCB（試行回数と平均報酬のバランスで有望な候補を選ぶ基準）を用いた木探索で、複数の改稿系統を並行に伸ばしながら最適化されます。

成績は最大25.8ポイント向上、無駄な手数も3割減

ALFWorldでは、4つのモデルすべてで従来手法を上回る結果が得られました。

注目は8Bです。共有スキルでは一律に成績が落ちたモデルが、相性に合わせた書き換え後は57.9%まで伸びました。指示そのものが不要だったのではなく、合わない書き方が足を引っ張っていたことの裏付けです。平均の行動ステップ数も8Bで39.1から29.2へ、14Bで36.7から25.7へと、おおむね3割短縮されました。

模擬ECサイトで買い物をこなすWebShopでは、さらに極端な現象が観察されています。素の状態では大型モデルほど成績が悪く、14Bの成功率2.8%に対し4Bは23.0%でした。原因は行動前の長い思考の前置きです。思考モードを切った設定でも、14Bは97%のステップで長文の推論を出力し（1行動あたり平均574文字。4Bは73文字）、限られた手数を逡巡に費やしていました。この癖への対処が書き換えに織り込まれた結果、成功率は全サイズで最高（32Bで34.6%）となり、成功時の手数も12〜13ステップから7〜8ステップに減っています。

検索を併用する質問応答でも、2つのデータセットだけで調整したスキルの効果が未知の5ベンチマークに波及し、平均成功率は4サイズすべてで最高となりました。4BのBamboogle（多段推論を要する質問集）では12.9%から61.3%への大幅な改善も見られます。

同じ課題にモデル別の4通りの処方箋が出た

書き換えで何が起きているのかを示す好例が、WebShopで失敗率が最も高かった「色の指定合わせ」です。同じ課題に対し、進化後のスキルにはモデルごとに質的に異なる戦略が記述されていました。

語尾や言い回しの微調整ではなく、意思決定の方針そのものが分岐している点が重要です。同じ問題でも失敗の仕方が違えば必要な指示は根本から変わる、という事実は、人手でプロンプトを書く場面にもそのまま当てはまります。

小型の書き換え係が教師の大型モデルを上回った

探索による最適化は強力ですが、数百回から数千回の環境試行を要し、新しいモデルや環境のたびに回すにはコストがかかります。そこで、探索の過程で得られた書き換え前後のペア769件を教師データとして4Bの小型モデルが教師あり微調整され、モデルカードと元のスキルを入力すると一回の推論で適応版を出力する書き換え係（リライター）が用意されました。

汎化性能の検証では、学習に使っていないタスク種別（清掃・加熱・冷却）が対象とされました。別環境の記録だけで学習した場合でも、教師役DeepSeek-V4による一発書き換えを4サイズすべてで上回り、同じ環境の別タスクの記録を加えると、8Bで+8.8、14Bで+13.2、32Bで+7.4ポイントの上積みが確認されています。はるかに大きい教師モデルを、わずかな推論コストの4B特化モデルで安定して超えられた形です。なお、入力からモデルカードを外すと成績は大きく崩れ（14Bで48.5%から20.6%へ）、プロファイル情報そのものが書き換えの品質を支えていることも示されました。

実務への示唆

モデルを替えたらプロンプト資産も作り直す

コスト削減のための小型化や新モデルへの乗り換えで、システムプロンプトや手順書をそのまま流用する運用は珍しくありません。今回の検証では共有スキルが一律に逆効果となるモデルがあり、同じ4BでもGemma3とQwen3で最適な書き方が分かれました。移行時には指示文の再検証を作業項目として最初から見積もっておくのが安全です。

「とりあえず詳しく書く」のをやめる

手順を細かく書くほど確実、という感覚は中小型モデルでは裏切られることがあります。約2,700トークンの詳細版はQwen3-4Bで最低の成績となり、8Bでは無指示を15ポイント下回りました。一方で14B以上では詳細版が最良です。指示の粒度は、読み手であるモデルの容量と癖に合わせて選ぶという設計の観点が要ります。

失敗ログから指示を直すループを回す

今回の中核は、失敗した行動記録を集めて原因を言語化し、それを根拠に指示を書き換えて再測定するという反復です。採用は成績が上がったときだけ、評価には空振りの多さも織り込む、という運用も含めて、人手のプロンプト改善にそのまま移植できる枠組みです。感覚での書き直しより、失敗事例に紐づけた改稿のほうが収束は速いと考えられます。

モデルごとのカルテを文書化しておく

文脈長や規模、チューニングの来歴、観察された弱点をまとめた1枚のプロファイルが書き換えの条件付け情報として機能し、外すと品質が大きく落ちました。複数モデルを併用する組織なら、評価時の気づきをモデルカードの形式で蓄積しておくと、プロンプト調整やモデル選定の判断材料として再利用できます。

定型の変換作業は小型モデルへの蒸留を検討する

スキルの書き換えという限定的な変換では、769件の教師データで微調整した4Bモデルが教師役の大型モデルを上回りました。汎用の大型モデルをAPIで都度呼ぶ前に、入出力の形が決まった定型処理は小型モデルに蒸留するという選択肢があります。品質とコストの両面で有利になる場合があることが、今回の結果からも読み取れます。

注意点

確認された範囲には限りもあります。本検証の対象はQwen3系列4種が中心で、補足的にGemma3でも同傾向が確認されたにとどまり、商用のクローズドモデルでの挙動は未検証です。また、スキルの進化には成功・失敗を自動判定できる環境が前提となっており、明確な報酬信号のない実務タスクへ適用するには、外部の評価器や人手の判定を設計する必要があると著者らは述べています。

まとめ

指示書は内容だけでなく、書き方がモデルの特性と噛み合って初めて機能する。今回の検証が示したのはその一点に尽きます。エージェント運用では、プロンプトやスキルをモデル横断の共有資産としてではなく、モデルごとに調整し、版を管理する対象として扱う発想が求められそうです。読み手が人間なら相手に合わせて文書を書き分けるように、読み手がモデルでも同じ配慮が性能を左右します。

本記事の関連研究