AIエージェントにおける小規模言語モデルの可能性に迫る

本記事では、小規模言語モデルがAIエージェントの基盤として持つ可能性を掘り下げた研究を紹介します。

AIエージェントの構築にLLMを使うのが常識となりつつある一方で、実務上の負担や運用性に目を向け、小規模モデルへの移行を検討する動きも出てきました。
研究者たちは、その選択肢をより現実的なものとして位置づけ、移行に向けた段階的な手順も整理しています。

背景

AIエージェントの活用が現実味を帯びてきました。日々の業務で、情報の要約、意思決定の補助などにAIを組み込む企業が増えています。大手IT企業の半数以上がすでに導入済みとの調査結果もあります。そのうち2割以上は、ここ1年以内に新たに導入したばかりです。

投資の動きも活発で、2024年末の時点でAIエージェント関連スタートアップへの資金流入は20億ドルを超え、市場規模は52億ドルにまで拡大しています。2034年には2000億ドルに迫るとも予測されており、今後の産業に与える影響は小さくありません。

AIエージェントの核心となっているのはLLMです。現在は、LLMのAPIにリクエストを送って処理を任せる構成がAIエージェントの主流となっています。この仕組みは、業界全体の前提としても定着しつつあります。2024年にはLLM API市場が56億ドルに達すると同時に、それを支えるクラウドインフラへの投資は570億ドルにのぼりました。そして、既存のソフトウェアと同様に数年で回収できると見込まれており、この構造が大きく変わる気配はまだありません。

とはいえ、この状態に対する問い直しも始まっています。
すべてのリクエストを巨大なLLMで処理することが果たして最適なのでしょうか？

この問題意識は各地で共有され始めています。

そこで本記事では、現状の慣行を見直した研究者たちの分析を中心に紹介します。LLMではなく小規模言語モデルの活用こそがAIエージェントの将来を形づくるのではないか、という立場から、議論を投げかけるものになっています。

なお、本記事内容は、下記の文献をもとに研究者たちによる問題提起や提案を伝えたものです。参照した文献は学術論文ではありますが、著者たちの所属がNVIDIAという営利組織を母体としていることから、企業の方針に合う内容となっている可能性を考慮して、できるだけ中立的な記事になるよう心がけて編集しました。

Small Language Models are the Future of Agentic AI

新しい視点

AIエージェントの実装が広がるなかで、「どのような言語モデルを中核に据えるべきか」という問いが改めて浮上しています。

今回研究者たちは、明確な立場をもって議論を展開しています。まずは、先に押さえておくべき用語の定義と主張の構成から見ていきます。

「小規模言語モデル」について

議論の前提として、「小規模言語モデル（SLM）」とは何を指すのか認識する必要があります。

現在の「小規模言語モデル」の定義は、

”一般的なパソコンやスマートフォンなどの消費者向けデバイス上で、個々のエージェント処理に対して実用的な応答速度を維持できるモデル”とされます。

（それに対して、この条件を満たさないものが大規模言語モデル（LLM）となります）

その上で、いまの技術水準では、おおよそ100億パラメータ未満のモデルが小規模言語モデルに該当すると考えられています。

要するに、単にモデルが小さいというだけでなく、実際の利用環境に即したものであるということがポイントです。

「AIエージェントの未来は小規模言語モデルにある」のではないか

研究者たちは、将来を見据えたときに、AIエージェントにとって重要なのは小規模言語モデルではないか？と考えています。その理由は主に3つだそうです。

主な理由１：十分に有用

AIエージェントが日常的にこなしているタスクは、案外シンプルなものが多く、LLMの圧倒的な汎用性を活かす場面はそれほど多くありません。たとえば定型的なツール呼び出しや簡単な要約、特定形式での出力などが中心であれば、小規模言語モデルでも十分に対応できます。

主な理由２：エージェント運用に向いている

LLMは何でもできる一方で、処理コストも高く、挙動も複雑になりがちです。一方、小規模言語モデルであれば特定の形式や挙動に絞ったチューニングがしやすく、エージェントとツールの連携や、出力形式の整形といった現場の要請に応じやすいという特性があります。

主な理由３：経済的である

計算資源の消費が少なく、応答も速いため、小規模言語モデルのほうが運用コストを抑えやすくなります。導入や微調整のコストも低いため、実務での継続的な改良や適応にも向いています。

現状はLLM偏重であり違和感がある

ということで、研究者たちは現在の慣行について、少なからず過剰だと考えています。

多くのエージェント用途は繰り返しの定型処理であり、会話の巧みさや博識さよりも、処理の確実性や軽快さが求められるためです。

とはいえ、両者を組み合わせるのが現実的

すべての場面でLLMを排除すべきという意味ではありません。

広範な文脈理解や創造的な応答が求められる状況では、LLMの力が不可欠になります。そこで研究者たちは、小規模言語モデルを基本としつつ、必要な場面でLLMを部分的に呼び出す「使い分け型」の構成を提案しています。

使いどころを切り分けることで、コストと性能のバランスを取りながら、より実践的なAIエージェントを構築できるという考えです。

持続可能性を見据えよ

最も重要な視点の一つは、エネルギー消費やインフラ投資の観点で、小規模言語モデル中心の設計がより持続可能であるという問題意識です。つまり、実務的な判断と同時に、社会的責任に応える行動をとるのであれば小規模言語モデルは無視できないということです。

「どれだけ賢いか」だけでなく、「どのように賢くあるべきか」という視点も、あらためて問われているのかもしれません。

いま「小規模言語モデルもわるくない」と言える根拠

上記では研究者たちの主張の概要をお伝えしました。

以下では、AIエージェントの中核を担うモデルとして小規模言語モデルも視野に入れるべきさらに具体的な理由を、複数の観点から紹介します。

根拠１：すでに実用に耐える性能を備えている

「モデルが小さいと性能も劣るのでは」と思う方もいるかもしれません。ですが最近では、そうした前提が揺らぎつつあります。

以前話題となった「大きくすればするほど強くなる」という単純なスケーリング則は、（今も観測されてはいるものの）状況が変化しています。最新の小規模言語モデルは、数年前の大規模モデルと同等、あるいはそれ以上の能力を示し始めているのです。

たとえば、MicrosoftのPhiシリーズ。27億パラメータのPhi-2が、300億規模のモデルと同等の推論・コード生成性能を発揮しつつ、15倍近く高速に動作します。さらに70億パラメータのPhi-3 smallは、同世代の最大クラスのモデルに匹敵しています。

また、NVIDIA Nemotron-Hファミリーは、24〜90億パラメータのハイブリッドモデルで、300億パラメータ級の大規模モデルに並ぶ精度を、はるかに少ない計算資源で実現しています。

他にも、DeepSeek-R1-Distillシリーズの70億パラメータモデルは、Claude 3.5やGPT-4oなど、業界を代表する有料大規模モデルを上回る推論能力を示しています。

エージェント活用で求められる、（常識に基づく）推論やツールの呼び出し、コード生成、指示に従う応答といった能力において、小規模言語モデルはすでに十分なレベルに達しつつあるのです。

また、自己一貫性チェックや出力検証、外部ツールの組み合わせといった工夫を加えれば、さらに性能を底上げすることも可能です。

根拠２：明確に安い

性能と並んで、小規模言語モデルが評価される大きな理由がコストです。大規模モデルを使った場合と比べて、運用に必要な計算資源が格段に少なくなります。

たとえば、70億パラメータの小規模言語モデルを使う場合、700億〜1750億パラメータの大規模モデルと比べて、推論コストは10〜30分の1に収まります。レイテンシ（遅延）や消費電力も大幅に削減され、リアルタイム性が求められるエージェントにも適しています。

さらに、分散処理が不要または最小限で済むため、環境構築や保守にかかる費用も抑えられます。

また、軽い微調整であれば数時間単位で完了します。つまり、新しいタスクや環境に応じた調整も短期間で対応できるようになります。

根拠３：ローカル実行ができる

小規模言語モデルは一般的なGPUでもローカルで動作可能です。つまり通信環境に依存しないオフライン推論や、より強固なプライバシー保護が実現しやすくなります。

根拠４：出力を整形しやすい

ツールとの連携やコード生成が求められる際、出力形式の正確さが極めて重要になります。形式がずれると後続処理が止まるためです。

小規模言語モデルは、出力の形式を調整しやすく、一貫性を保ちやすい特性があります。複数形式を横断的に扱う必要がない分、安定した運用が可能になります。

根拠５：実際のエージェント処理は比較的シンプル

今のAIエージェントは、プロンプトで厳密に指示された狭い範囲の処理を繰り返すことが多く、モデルの汎用性全体を使いこなしているわけではありません。

そうであれば、特定の処理に対して最適化された小規模言語モデルの方が、処理の確実性や再現性を保ちやすいため有利かもしれません。

根拠６：異なるモデルを組み合わせる構成もあり

たとえば、全体の処理の指揮は大規模モデルに任せつつ、下位の処理を小規模モデルに分担させるような構成も一つの形です。

根拠７：継続的な改善がしやすい

小規模言語モデルは微調整のコストが小さいため、ログから得た実行事例をもとに新たなモデルを学習したり、既存モデルの精度を高めたりするサイクルが現実的に回せます。

ツール呼び出しやフォーマット生成など、定型化された処理が多い場面では、データ収集と微調整を繰り返すだけで精度が向上しやすく、エージェントの品質を段階的に高めることができます。

「いや、そうは言っても・・・」反対意見の検討

小規模言語モデルに注目が集まる一方で、「とはいえ、やはり大規模なモデルの方が良いのでは」といった声も少なくありません。研究者たちも、こうした反対意見を軽視せず、しっかりと検討しています。ここでは、主な異論とそれに対する応答を整理します。

反対意見１：大規模モデルの方が言語理解に優れているのでは

まずよくある指摘として、「同じ世代のモデルを比べるなら、大きい方が性能は高い」といった意見があります。確かに、これまでのスケーリング則を前提にすれば、大規模モデルの方が翻訳や推論、文章生成といった自然言語処理タスクで高い精度を示す傾向はあります。

さらに「セマンティックハブ」という概念もあります。これは大規模モデルの中に、さまざまな種類の情報（言語や音声、画像など）を抽象的にまとめて理解できる構造が自然とできあがるという話です。小規模モデルにはその余裕がないため、どうしても言語理解の幅が狭くなるという主張です。

ただ、研究者たちはこうした見方に対しては、いくつか付け加えたいことがあるとしています。

まず、最近の小規模モデルはアーキテクチャ自体に工夫が加えられており、昔のスケーリング則とは前提が異なっています。また、必要なタスクにだけ軽く微調整すれば、実用に耐える性能を出すことも可能です。計算資源に余裕があるときだけ、推論の回数を増やすなどの工夫も効果的です。

また、多くのエージェントでは、そもそも複雑な入力をあらかじめシンプルなサブタスクに分けてから処理しています。そうした設計の中では、抽象的な理解力を持つかどうかよりも、正確に細かい作業をこなせるかどうかが重要になる場面が多くなります。

反対意見２：実際は大規模モデルの方が安く済むのでは

次に出てくるのが「小規模モデルは安いと言うけれど、全体としてはコストがかさむのでは」という疑問です。たとえば複数の小さなモデルを用途ごとに使い分けると、負荷分散やインフラ管理がかえって手間になるという話があります。エンドポイントが増えることで管理も複雑になり、結局トータルでは割高になるという考え方です。

この点については、研究者たちも完全に否定するわけではなく、有効な視点として受け止めています。ただ最近では、推論のスケジューリング技術やシステム全体の構成が進化しており、小規模モデルを複数運用するハードルもだいぶ下がってきました。初期設定にかかるコストも年々減っているという分析もあります。

反対意見３：業界全体がもうLLMベースで動いているのでは

「結局、業界はもうLLM中心で動いていて、小規模モデルの出番は少ないのでは」といった指摘もあります。実際、大手のエージェントシステムはすでにLLMを前提に設計されており、フレームワークやチュートリアルもLLM向けのものがほとんどです。流れができているなら、それに従った方が効率が良いという考え方も自然です。

これに対しては、研究者たちも「現時点ではその通り」と認めています。ただ、小規模モデルの利点が今後もっと広く理解されるようになれば、流れが変わる可能性も十分あると見ています。

性能や運用コスト、調整の柔軟性などを総合すると、長い目で見てこちらの選択肢のほうが伸びしろがあるかもしれないという考え方です。

浸透が進みにくい、さらに根深い理由

上記では、小規模言語モデルの価値をめぐってさまざまな異論があることを確認しました。その中には確かに一理ある指摘も含まれており、研究者たちもすべてを否定しているわけではありません。

ただ、こうした個別の論点とは別に、小規模モデルの普及を妨げているもっと根深い要因も存在しています。以下では、そうした「構造的な障壁」を改めて整理してみます。

根深い理由１：巨額の投資がすでに行われている

最も影響が大きいと考えられているのが、インフラへの先行投資です。LLMを中心とした推論体制が今後の主流になるという前提で、業界ではすでに大規模な資本が投じられてきました。そのため、小規模モデルや端末上での分散推論といった代替案は、ツールや環境の整備段階から視野に入ってこなかった経緯があります。

一度方向性が決まってしまうと、変更には新たなリスクとコストが伴います。すでに大きな金額が動いている分、「今さら路線変更は難しい」という空気が生まれやすくなります。

根深い理由２：評価のモノサシが合っていない

もうひとつの課題は、モデルの価値を測る評価軸です。多くの小規模モデルは、大規模モデルと同じ汎用ベンチマークで比較される傾向があります。その結果、「万能さ」での評価が優先されてしまい、特定用途での強みが埋もれがちになります。

しかし、現実のエージェント業務では、やるべきタスクはある程度限定されており、処理の正確性や形式の一貫性が重視される場面も少なくありません。そうした前提に立てば、小規模モデルの方がむしろ理にかなっている場面も多くなるはずです。

根深い理由３：情報が届いていない

技術の話に加えて、認知度の問題もあります。小規模モデルはLLMほどの話題性がないぶん、報道される機会も少なく、業界外の人にとっては「そもそも選択肢として知られていない」こともあります。

大規模モデルの進歩は華やかで、デモも見栄えがします。その一方で、小規模モデルの地道な改善や運用面での実利は、注目されにくい傾向にあります。

技術の限界ではないことを念頭に置く

こうした壁は、技術そのものの限界ではなく、運用面や習慣に根ざした課題です。

小規模モデルの導入によって得られる経済的なメリットがより広く認識されるようになれば、状況も動き出すかもしれません。

ただし、インフラ投資に関する業界の慣性は依然として強く、いつ流れが変わるかは予測が難しいのが実情です。しかし、時間がかかるとしても、その方向に進む可能性は十分にあるというのが研究者たちの見立てです。

技術の成熟やコスト最適化の動き、さらには環境負荷への関心の高まりなど、複数の要因が重なって、徐々に小規模モデルに有利な条件が整いつつあります。

今はまだ過渡期にあります。これまでの投資を活かしたいという業界の思惑と、新しい選択肢への期待がせめぎ合うタイミングにあるとも言えます。この均衡がどちらに傾くかは、技術の性能だけでなく、価値観や市場の成熟度といった要素も関わってきそうです。

実際に小規模モデルへ移行するとしたら

いざ既存のLLMベースのエージェントシステムを小規模モデルへ切り替えるとなると、どのように進めればよいのか不安に感じる方も多いかもしれません。

今回研究者たちは、その点も見据えて、移行のプロセスを段階的に整理しています。以下では、現実的かつ無理のない進め方の一例を紹介します。

まずは、エージェントの使われ方を記録する

はじめにやるべきことは、今のシステムでエージェントがどんな作業をしているのかを可視化することです。

ユーザーとの対話以外の部分、たとえばツールの呼び出しや出力応答などについて、入力と出力の組み合わせをログとして残すようにします。応答速度などの情報も記録できれば、のちの分析にも役立ちます。

このとき、個人情報にあたるデータが扱われる可能性があるため、ユーザー識別ができないようにしたうえで、安全な形で記録していく必要があります。

次に、データを整理して安全に使える形にする

ログがある程度たまったら、使えるデータとそうでないものを選り分けます。

小規模モデルの微調整には、1万件から10万件ほどの事例があれば十分だとされています。とはいえ、生のデータをそのまま使うことはできません。個人名や住所、健康情報などが含まれている場合は、マスク処理や削除が必要です。

内部文書のようなアプリ固有の入力についても、具体的な数値や名称をぼかしつつ、意味が失われないように言い換える工夫が求められます。

そのうえで、繰り返されているタスクを分類する

整理したデータをもとに、どんな種類のタスクが繰り返されているかを確認します。

たとえば、ユーザーの意図を読み取る作業や、文書の要約、表形式のデータ抽出、ツールに渡すコードの生成など、定型的な動きが見えてくるはずです。これらをパターンごとに分類することで、どの部分を小規模モデルで代替できそうかが明確になります。

分類されたタスクに適したモデルを選ぶ

タスクのまとまりごとに、どの小規模モデルが向いていそうかを検討します。

基準になるのは「指示への従順さ」や「推論力」、「メモリ使用量」、「学習時のライセンス」など。複数の条件を照らし合わせながら選んでいきます。PhiシリーズやNemotron-H、SmolLM2、DeepSeekなど、最近評価の高いモデル群は出発点として有力です。

選んだモデルを、手元のタスクにあわせて調整する

適したモデルが決まったら、それぞれのタスクに合わせた微調整を行います。

このとき、LoRAやQLoRAといった軽量な調整技術を使えば、リソースを抑えつつ短時間で学習が可能になります。必要に応じて、既存の大規模モデルの出力を模倣する形で知識を移す「蒸留」手法を組み合わせることも選択肢の一つです。

運用しながら、少しずつ改善していく

いったん動き始めたら、定期的に新しいログを追加しつつ、モデルやルーティングの仕組みを調整していくことになります。

使われ方が変化してきた場合は、再びログを集めて再学習することで、モデルの精度を保ちやすくなります。

完全移行ではなく、段階的な導入が現実的

この流れは理想的な手順として整理されたものですが、実際には段階的に進めることが現実的です。

たとえば、頻出で構造が単純な処理から小規模モデルに置き換えていき、徐々に範囲を広げる方法が考えられます。最初は小規模モデルを優先的に使い、必要に応じて大規模モデルに切り替える構成も、リスクを抑えるうえで有効です。

重要なのは、こうした移行は決して無謀な話ではないという点です。きちんと準備をすれば、既存の仕組みを大きく変えずに、実験的に進めていくことが可能です。

もちろん、取り扱うデータや求められる応答の精度によって最適なやり方は変わってきますが、前提条件さえ整理できれば、多くの場面で検討に値する移行戦略となるはずです。

まとめ

本記事では、小規模言語モデルをAIエージェントに活用することの可能性を検討した研究を紹介しました。現状のLLM中心の運用に対し、より軽量で現場に適した構成を模索する視点が丁寧に示されていました。

もちろんすべての環境に当てはまる話ではありませんが、構造の見直しやコスト改善を検討中の方にとっては一つの情報となるはずです。現在の取り組みに照らしながら、小規模モデルをどう位置づけるかを柔軟に考えてみるとよいかもしれません。

なお、冒頭で申し上げたように、本記事で参照した文献は学術論文ではあるもののNVIDIAに所属する方々により作成されています。記事を執筆する際には特定の営利組織に対する偏りが出ないように注意を払いましたが、補足事項としてご認識いただけますと幸いです。