次回の更新記事:答えのない問題に取り組むAIエージェントの走らせ方…(公開予定日:2026年07月13日)
AIDB Daily Papers

人間を超えた知能を測定する:AIによる対抗的評価フレームワーク

原題: Measuring Intelligence Beyond Human Scale
著者: Jerry Han, Rafael Moschopoulos, Ella Colby, Vishrut Goyal, Andrew Tu, Kia Ghods, Mark Braverman, Elad Hazan
公開日: 2026-07-08 | 分野: LLM ベンチマーク AI 評価 cs.AI

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • 人間が作成したベンチマークの限界を克服するため、AIが互いに難問を出し合う相対的な評価手法を提案した。
  • モデル自身が課題を生成することで、人間の能力を超えた知能に対してもスケーラブルな評価が可能となった。
  • 検証可能な領域と非検証領域の両方で、人間を介さずモデルの能力を測定できる新たな評価プロトコルを実証した。

Abstract

How can we measure intelligence beyond human capability? Human-authored benchmarks saturate, and above human capability, examiners may not know which tasks are both hard and verifiable. We argue that this difficulty is inherent to absolute-scale evaluation and propose a new paradigm based on relative measurement in which models generate public challenges that separate other systems. Aggregating these outcomes yields an adversarial psychometric rating system that can scale with the systems being measured. We describe practical protocols that reduce incentives for private-information attacks, support judge-free adjudication, and naturally scale with agent capabilities. We instantiate the framework across verifiable and open-ended, non-verifiable domains, illustrating how model-generated evaluation can continue to measure systems beyond the human frontier.

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

関連するAIDB記事