AIモデルやエージェントが登場するたびに「ベンチマークで何点取った」とアピールされがちですが、既に最先端モデル同士の成績はどんぐりの背比べ状態になっていることが多いです。
そのため、「このテストの点数にどれほどの意味があるか」を見る目が、今後AIリテラシーとして大事に なってくるとのこと。
少なくとも、ベンチマークスコアの”微差”を真に受ける必要はありません。
99点と97点の差は、テストの測定精度を考えると統計的に区別できない範囲かもしれない。
また今回明らかになったのは、ベンチマークのテスト問題を秘密にしてもAIたちが攻略するスピードを阻むことはできず、自然に点数が伸びて飽和してしまうことを止められていないそうです。
AI業界ではいま、次々と新しいベンチマークを作っては使い捨てている現状があり、この研究はそうした状況を裏付けるデータを示しているとも言えそうです。
チューリッヒ工科大学、ETH AI Center、スタンフォード大学、ノースイースタン大学、メリーランド大学、コペンハーゲン大学、ケンブリッジ大学、Eleuther AI、IBM Research、MIT-IBM Watson AI Lab、マサチューセッツ工科大学、コメニウス大学、Cisco、ヴァイツェンバウム研究所、ミュンヘン機械学習センター、ミュンヘン工科大学、クイーン・メアリー・ロンドン大学、ハーバード大学、StickFlux Labs、ユニバーシティ・カレッジ・ロンドン、Scale AI Security and Policy Research Lab、Cohere、シカゴ大学、Berkeley AI Safety Initiative、ヘブライ大学、アイオワ州立大学、Max Planck School of Cognition、エディンバラ大学、Hugging Faceのチームによる共同発表。
