LLMの性能は日々進化を続けています。そのため、通常の評価基準では、もはやその真の実力を測ることが難しくなってきました。

そのような状況を受けて、新しい評価システムが開発されました。LLMの能力をより厳密に、そして多角的に検証することを目指すベンチマークです。これまでの評価では測定が困難だった「高度な推論力」と「幅広い知識」の評価に重点が置かれています。

この記事では、この取り組みについて詳しく見ていきます。

背景

LLMの進化は私たちの想像をはるかに超えるスピードで進んでいます。最近では、従来の評価基準では測定しきれないほどの高性能化が進んでいます。

例えば、これまでの標準的な評価ベンチマークであるMMLUなどでは、すでにほぼ完璧な精度が報告されるようになっていました。このような既存の評価方法では物足りないという課題が浮き彫りになっており、業界の中では「本当にLLMの実力を測れる新しい評価基準が必要なのではないか」という声が高まっていました。

このような状況を受けて、単なる知識の有無を問うのではなく、専門家レベルの深い理解力や推論能力まで測定できる評価方法が模索されてきました。

今回研究者たちは、さまざまな学問分野にまたがる高度な問題群の開発に着手しました。とりわけ重視されたのは、単純な情報検索では対応できない、専門家レベルの理解力や推論能力を問う問題の作成でした。

さらに、画像や音声といったマルチモーダルな要素を含む問題や、厳密な自動採点が可能な形式の実現に向けた取り組みも進められました。問題の質を担保するため、作成から多段階のレビューまでの体制も整備されました。

そうして究極の問題集が完成したとのことです。以下で詳しく紹介します。