本記事では、LLMの実利用とベンチマーク評価の間にあるズレに注目した研究を紹介します。評価指標の多くは技術系タスクを前提に設計されていますが、実際の業務ではもっと多様な使い方がされています。

調査では、よく使われるタスクの傾向や、既存ベンチマークが対応できていない能力が整理されています。
LLMを導入・活用する立場から、評価スコアを見る際の観点を少し見直すきっかけになるかもしれません。

背景

生成AIが業務に浸透するにつれ、その性能評価にも実務目線の視点が求められるようになってきました。いま多くの企業が、LLMを単なる技術検証の対象としてではなく、文章作成や情報整理といった日常業務の支援ツールとして活用し始めています。そうした現場の利用実態と、既存のベンチマーク評価のあいだには、見過ごせないギャップが生じています。

現在広く使われている評価の多くは、コード生成や知識の想起などの限定的なタスクに基づいており、実際の職場で期待されている支援とはかけ離れた設計になっています。たとえば、LLMを活用して文書を読みやすく整えたり、要点をまとめたり、引用形式を整えたりといった場面は評価の対象外になっていることが多く、こうしたズレがモデル選定や導入後の期待値に影響を及ぼしている可能性があります。

モデル自体の進化もまた、評価との乖離を広げています。最先端であると大きく打ち出されたモデルも、その主張はあいまいな言い回しや断片的な引用に依存しており、確たる根拠に乏しいことは往々にしてあります。同様に、コーディング能力や言語翻訳など、特定のタスクでのスコアを根拠に性能をアピールしているモデルも多い状況です。

今の評価方法にはいくつかの懸念があります。実務にどれほど関係があるかが曖昧なうえ、統計的な信頼性や敵対的入力への耐性、事実よりも流暢さを優先する傾向、さらには自動評価指標の限界などが指摘されています。非公開のデータや基準に基づく評価も多く、透明性の点でも課題が残ります。

最新のLLMは、人間の指向に沿った出力を目指して調整されており、有用性や真実性、無害性の観点が強く意識されています。ところが、それを測るベンチマークは依然としてMMLUやAIMEといった学術的・抽象的な問題に偏っており、日常的な業務タスクでの有用性を直接示すものではありません。

また、テキスト生成AIは会話形式の応答を基本としています。プロンプトに応じて返す応答の流れは、指示の意図をくみ取り、ユーザーと対話しながら作業を進めるという、実際の利用に即したスタイルです。この点においても、現在の評価指標は十分に対話の文脈ややり取りの柔軟性を反映できているとは言いがたい状況です。

こうした課題を踏まえ、研究者たちは「LLMが実際に何をどのように支援しているか」を捉え直し、人間中心の観点から現実的な利用能力を測る新たな評価枠組みの構築を試みました。その出発点となったのが、「ユーザーが日常業務でどのようにLLMを使っているのか」という問いです。

以下で全貌を詳しく紹介します。