ベンチマーク結果をうのみにするとLLMの実力を見落とす

社内でAIアシスタントを動かしているとします。依頼される仕事は、コードレビュー、契約書の要約、問い合わせへの返信、データ集計など、実にさまざまです。

導入時には、ベンチマークのスコアが最も高いモデルを選びますか？ここで、素朴な疑問が生まれます。

そのモデルは、目の前の一件一件に対しても、本当に最良の選択肢なのでしょうか。コードに強いモデルが、医療の計算問題でも一番とは限りません。返信文がうまいモデルが、込み入った推論でも勝つとは限らないからです。

一般的なベンチマークの順位表は、モデルを1つ選び、1回だけ答えさせた結果を並べたものです。けれど、現実に飛んでくる依頼はもっとばらついています。

だとすれば、順位表に出ている数字と、手元の業務で実際に引き出せる性能とのあいだには、まだ見えていない差があるはずです。

その差は、どのくらい大きいのか。そして、今あるモデルを使ったまま、どうすれば埋められるのか。

本記事では、数多くのモデルを横断的に測り直した検証をたどりながら、普段のベンチマークが取りこぼしている実力の正体を見ていきます。

総合1位が最適とは限らない

現場の依頼は幅広い

順位表だけを見ると、導入時には一番上のモデルを選べばよいように思えます。けれど、雑多な依頼が飛んでくる現場では、問題ごとに勝者が入れ替わります。

例えば遺伝学の問題で最も高い成績を出すモデルと、臨床の計算問題で最もよい結果を出すモデルが別になることは珍しくありません。つまり、総合順位で上にいるモデルが、すべての問題で最適とは限らないのです。

順位表は1モデル1回答で作られる

一般的なベンチマークは、モデルを1つ選び、そのモデルに1回だけ答えさせた結果を並べています。この形式は、モデル同士を比較するうえでは分かりやすいものです。

しかし、現場の依頼は、コード、契約書、返信、集計のようにばらつきます。そうした環境では、総合順位の高さだけでは、目の前の問題に最も合うモデルを選べません。

得意不得意は順位表から見えにくい

問題ごとに強いモデルが違うなら、1つのモデルに固定する運用では、別のモデルなら取れた正解を取りこぼします。

この取りこぼしは、通常の順位表には現れません。総合スコアでは見えない、モデルごとの得意不得意が隠れているからです。

固定運用は正解を取りこぼす

21種類のモデルを16試験で比べた

この入れ替わりを正面から測り直した検証が、Martianやオックスフォード大学などの研究チームから報告されています。

研究チームは、21種類のモデルを、コード生成、推論、医療、事実性、指示追従、エージェント動作にまたがる16の試験にかけました。そして、各問題をその問題に最も強いモデルへ振り分けた場合、どこまで性能が伸びるかを調べました。

勝つモデルは問題ごとに入れ替わる

検証で見えてきたのは、単純な総合順位だけでは捉えきれない入れ替わりです。ある試験では上位に来るモデルが、別の試験ではそうでもない。さらに同じ試験の中でも、問題ごとに得意なモデルが変わります。

つまり、「このモデルが全体で一番強い」という判断と、「この問題に一番向いているモデルはどれか」という判断は、必ずしも一致しません。

別モデルなら正解できた問題がある

1つのトップモデルに固定したままだと、別のモデルなら取れたはずの正解を取りこぼします。

この取りこぼしこそが、通常のベンチマークには現れにくい性能差です。モデルそのものを新しくしなくても、問題ごとに使い分けるだけで、引き出せる性能が変わる余地があります。

問題ごとに最適なモデルへ振り分けるだけで誤答は大きく減る

誤答は平均54%減った

問題ごとに最適なモデルへ振り分けた場合、各試験のトップモデルと比べて、誤答は平均で54%減りました。大まかに言えば、間違いの半分近くが消える計算です。

ただし、伸び方は試験によって大きく違います。

各試験のトップモデルと、問題ごとの振り分けを比べた値です（報告値より抜粋）。

GPQAでは誤答の8割以上が消えた

正答率がすでに高い試験では、上積みは小さく見えます。けれど、誤答を基準に見ると印象が変わります。

たとえば、GPQA Diamondでは、単独トップの正答率は94.0%でした。これを問題ごとに振り分けると99.0%まで上がります。正答率だけを見ると5.0ポイントの上積みですが、誤答の削減率で見ると82.7%です。残っていた間違いの8割以上が消えたことになります。

難しい領域では伸びが控えめになる

一方で、全体として難しいエージェント動作の試験では、上積みは控えめでした。Terminal-Bench 2.0では、単独トップの正答率が40.8%、振り分け時が49.0%で、誤答の削減率は13.9%にとどまっています。

つまり、自分の用途が「モデルによってはかなり解ける」領域なら、振り分けによる効果は誤答ベースで大きくなります。逆に、どのモデルにとってもまだ難しい領域では、使い分けによる伸びは限定的になります。

複数回試すとさらに伸びる

1回の振り分けでも誤答は減る

ここまでの振り分けは、「問題ごとに一番よいモデルを1つ選ぶ」という方法でした。この時点でも、固定運用と比べて誤答は大きく減ります。

さらに、同じ問題に何回か答えさせ、その中からよい回答を選ぶ方法を加えると、性能はもう一段伸びます。

10回試すと誤答は82%減った

1回だけの場合でも誤答は66%減り、10回試してよいものを選べる条件では、誤答は82%減りました。

1回の回答に賭けるのではなく、複数の候補を出して選ぶことで、たまたま外れた回答を避けやすくなるためです。

同じ精度に安く届く余地もある

費用の面でも余地があります。

同じ精度でよければ、問題ごとの振り分けによって、平均85%安く到達できたと報告されています。高価なモデルを常に使わなくても、安いモデルを問題に応じて使い分けることで、同じ水準に届く場合があるということです。

トップモデルと同じ正答率を、振り分けでどれだけ安く出せたかを示した値です（報告値より抜粋）。

試行回数を増やすほど費用も増える

もちろん、注意点もあります。何度も答えさせる以上、回数を増やせばAPIの呼び出し料金は積み上がります。

10回試す方法は、精度の上限を押し上げますが、そのぶん費用もかかります。実際の運用では、当たりが出た時点で打ち切るような工夫によって、同じ伸びをより安く取りにいく余地があると見込まれています。

ただし数字は上ぶれしやすい

最高値だけを拾うと運まで実力に見える

ここで一つ、測り方そのものに落とし穴があります。

「何回か試した中で一番よかった結果を選び、その値を実力とみなす」やり方は、数字を上ぶれさせます。何回か試せば、たまたま運のよかった回が混じるからです。最高値だけを拾うと、その幸運まで実力として数えてしまいます。

勝者の数字は上ぶれしやすい

この上ぶれは、もともと石油の採掘権の入札で知られてきた現象です。

各社が埋蔵量を見積もって入札すると、一番強気に見積もった会社が落札します。けれど、落札できたという事実そのものが、「高く見積もりすぎていた」しるしになりやすい。その結果、勝者は損をしやすくなります。

最高値を取りにいく行為そのものが、見積もりを上へ引っ張ってしまうのです。

同じ理屈は、モデルの測定にも当てはまります。そこで今回の検証では、この上ぶれを差し引く補正が組み込まれました。

コストの見積もりは特に甘くなりやすい

補正の前後を比べると、正答率の上ぶれは平均1%ほどにとどまりました。一方で、コストの上ぶれは平均で4割近くに達していました。

つまり、性能の数字よりも、費用の見積もりのほうが、運のよい回に引っ張られて甘くなりやすいということです。

他社が掲げる「複数回試せばここまで出る」という数字、とりわけ費用対効果の主張を見るときは、この上ぶれを差し引いて読む必要があります。

今回の結果は理想上の上限

正解するモデルが事前にわかる前提

ここまでの数字は、いくつかの理想的な条件を置いた上での上限です。

まず、問題ごとにどのモデルが正解するかを事前にわかっていることが前提になっています。しかし現実には、どのモデルが正解するかは、実際に試す前にはわかりません。

採点役にもコストとミスがある

もう一つの前提は、複数回の回答から当たりを選ぶ採点役が、費用ゼロで、しかも一度も間違えないことです。

しかし現実には、回答の良し悪しを判定する仕組みにもコストがかかります。さらに、採点役が常に正しい判断をできるとも限りません。

したがって、ここで示された幅は、「今すぐ全部取れる」数字ではありません。むしろ、「うまく設計すれば、ここまで近づける可能性がある」目標線として読むのが妥当です。

それでも現実に試せる改善策になる

それでも、問題ごとにモデルを振り分けることや、答えを何度か出して選ぶことは、すでに手元で試せる現実的な手立てです。

理想上の天井そのものには届かなくても、その方向へ動かせる余地は確かにあります。

依頼の種類が混ざるほど、使い分けの効果は大きくなる

一種類の作業だけなら固定運用でもよい

では、この伸びしろはどんなときに大きくなるのでしょうか。

人工的に作った作業の山で、扱う話題の幅を少しずつ広げながら測ると、振り分けによる上積みは、話題が多様になるほど大きくなりました。

一種類の問題ばかりが来る環境では、得意なモデルはほぼ1つに決まります。その場合、わざわざ振り分ける意味は薄くなります。

依頼が多様なほど得意不得意が生きる

逆に、コード、契約書、計算、雑談などが入り混じる環境では、モデルごとの得意不得意がかみ合います。そのぶん、使い分けの価値が大きくなります。

これは、冒頭の問題意識に戻る話です。

雑多な依頼を1つのモデルでさばいている運用ほど、まだ引き出せていない性能が眠っている可能性があります。逆に、用途が1本に絞れているなら、最も強いモデルに固定する判断も理にかなっています。

まず見るべきは自社の依頼の幅である

依頼のばらつきの大きさが、複数モデルの使い分けに踏み込む価値を測る目安になります。

見るべきなのは、順位表の一番上だけではありません。自分の現場に来る依頼がどれだけばらついているか。そのばらつきに対して、モデルの使い分けがどれだけ意味を持つかです。

まとめ

普段のベンチマークは、1つのモデルに1回答えさせた数字です。雑多な依頼が前提の現場では、その数字だけでは、手元で引き出せる性能を見落とすことがあります。

問題ごとに得意なモデルへ振り分けるだけで、誤答は半分近く減ります。さらに、同じ問題に何度か答えさせてよい回答を選べば、誤答をより減らし、同じ精度を安く出せる余地もあります。

ただし、こうした数字には、運のよい回による上ぶれが混じりやすくなります。特に費用対効果の見積もりは、甘く見えやすい点に注意が必要です。

単一モデルを信じきる前に、自分の現場に来る依頼の幅を見直す。そこに、順位表だけでは見えない改善余地が残っています。

本記事の関連研究