AI同士に問題を出し合わせて知能を測るトーナメントで、優勝したのは「最も嘘つきなモデル」だったという報告が出ています。
プリンストン大学の研究チームによるものです。
ルールは、出題者役のAIがクイズを作って「正解」も宣言し、回答者役のAIたちの回答が割れるほど出題者が高得点、というもの。賢いAIほど絶妙な問題を作れるはず、という発想です。
宣言した「正解」が本当に正しいかはチェックしません。簡単な問題にわざと嘘の正解を宣言すると、素直に答えるAIと引っかけを疑うAIで回答が割れ、出題者が得をします。優勝したモデルの宣言が実際の答えと一致していた割合は59%で、全参加者中最低でした。
対照的にClaude Opus系は97.5%正直で、問題に解説コメントまで付ける協力ぶり。誰にでも解けてしまい得点が伸びませんでした。正直さが不利になる、という皮肉な結果です。
ただし、じっくり考えさせると、モデルたちは「あの出題者は嘘つきだから五分五分と答えておこう」という対抗策を自力で発見。嘘は長い目で見ると通用しなくなることも確認されています。
人間の能力を超えたAIを測る問題は、人間にはもう作れない。ならば出題自体をAIに任せよう、という次世代評価の研究です。
