AIDB Daily Papers
人間を超えた知能を測定する:AIによる対抗的評価フレームワーク
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- 人間が作成したベンチマークの限界を克服するため、AIが互いに難問を出し合う相対的な評価手法を提案した。
- モデル自身が課題を生成することで、人間の能力を超えた知能に対してもスケーラブルな評価が可能となった。
- 検証可能な領域と非検証領域の両方で、人間を介さずモデルの能力を測定できる新たな評価プロトコルを実証した。
Abstract
How can we measure intelligence beyond human capability? Human-authored benchmarks saturate, and above human capability, examiners may not know which tasks are both hard and verifiable. We argue that this difficulty is inherent to absolute-scale evaluation and propose a new paradigm based on relative measurement in which models generate public challenges that separate other systems. Aggregating these outcomes yields an adversarial psychometric rating system that can scale with the systems being measured. We describe practical protocols that reduce incentives for private-information attacks, support judge-free adjudication, and naturally scale with agent capabilities. We instantiate the framework across verifiable and open-ended, non-verifiable domains, illustrating how model-generated evaluation can continue to measure systems beyond the human frontier.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: