社内でAIアシスタントを動かしているとします。依頼される仕事は、コードレビュー、契約書の要約、問い合わせへの返信、データ集計など、実にさまざまです。
導入時には、ベンチマークのスコアが最も高いモデルを選びますか？ここで、素朴な疑問が生まれます。
そのモデルは、目の前の一件一件に対しても、本当に最良の選択肢なのでしょうか。コードに強いモデルが、医療の計算問題でも一番とは限りません。返信文がうまいモデルが、込み入った推論でも勝つとは限らないからです。
一般的なベンチマークの順位表は、モデルを1つ選び、1回だけ答えさせた結果を並べたものです。けれど、現実に飛んでくる依頼はもっとばらついています。
だとすれば、順位表に出ている数字と、手元の業務で実際に引き出せる性能とのあいだには、まだ見えていない差があるはずです。
その差は、どのくらい大きいのか。そして、今あるモデルを使ったまま、どうすれば埋められるのか。
本記事では、数多くのモデルを横断的に測り直した検証をたどりながら、普段のベンチマークが取りこぼしている実力の正体を見ていきます。
