AI分野の主要国際会議「AAAI（2026）」で、本審査に進んだ22,977本すべての論文にAI査読を1件ずつ付与する大規模実証が行われたとのことです。
AIによる査読が人間よりも目立って優れていたのは”技術的正確性”、”見落としの指摘”、”改善提案”など。
概して、細かい点に気が付くことがAIの 長所のように見えます。
一方で、細かい点にこだわりすぎたり、技術的な間違いもたまに混ざってしまうことは懸念として挙げられています。
論文の著者と査読者ら合計5,834人への調査では、9項目中6項目でAI査読のほうが人間査読より高く評価されています。
なおAI査読の権限はあくまで補助的で、論文の採択そのものを決めたりスコアを付けるのは人間の仕事として運用されました。
生成コストは1本あたり1ドル未満、全件の生成は24時間以内に完了したそうです。
