ICLR2025 査読をLLMで支援・質と活発性を向上

AI分野のトップ学会ICLRでは今年（ICLR 2025）、査読コメントをチェックするLLMエージェントが導入されたそうです。

約2万件の査読コメントに対して使用され、約27%もの査読者がアドバイスを受けてコメントを改善したそうです。より具体的で役立つコメントになることも検証済みです。
さらに、このシステムのフィードバックを受けた査読者は、その後、論文著者たちとのやり取りを活発に行う傾向にあったと報告されています。

よく取り組まれがちなのはLLMによる論文の査読ですが、今回はそうではなく査読者をサポートする形がとられている点が注目されています。
「もっと具体的にコメントを書いてください」「その点は論文に書かれていますよ」「そのコメント、もっと丁寧な表現にしましょう」といったアドバイスを提供するそうです。

この取り組みはICLR 2025公式とOpenReview、そしてスタンフォード大学などの研究者らが協力して行いました。
ICLRのようなAI系の学会は提出される論文数が急増しており、査読者の負担がとても大きくなっています。その結果、査読の質が低下し、論文著者たちからは不満の声が寄せられているそうです。

今回開発されたLLMエージェントは、1回の処理にかかるコストはわずか約50セント（約75円）、処理時間は約1分だそうです。今後ますます過熱するAIの研究業界自体も、AIの活用によってより良いものになっていくのかもしれません。