次回の更新記事:企業向けAIエージェントの本当のボトルネックは計画力(公開予定日:2026年03月24日)
AIDB Daily Papers

コミットメントチェックリスト:査読における著者コミットメントの監査

原題: Commitment Checklist: Auditing Author Commitments in Peer Review
著者: Chung-Chi Chen, Iryna Gurevych
公開日: 2026-01-08 | 分野: LLM NLP 安全性 推論

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • 査読における著者のコミットメント(実験追加、コード公開など)が履行されているかを大規模言語モデルを用いて監査した。
  • 査読プロセスにおける著者の責任を明確化し、論文の信頼性を高めるための著者コミットメントチェックリストを提案する点が新しい。
  • ICLR-2025とEMNLP-2024の分析から、約束された変更の約25%が未実施であり、特に実験の未実施が多いことが判明した。

Abstract

Peer review author responses often include commitments to add experiments, release code, or clarify content in the final paper. Yet, there is currently no systematic mechanism to ensure authors fulfill these promises. In this position paper, we present a large-scale audit of author commitments using large language models (LLMs) to compare rebuttals against camera-ready versions. Analyzing the commitments from ICLR-2025 and EMNLP-2024, we find that while a majority of promised changes are implemented, a significant share (about 25%) are not, with "missing experiments" and other high-impact items among the most frequently unfulfilled. We demonstrate that LLM-based tools can feasibly detect the promises. Finally, we propose the idea of Author Commitment Checklist, which would alert authors and organizers to unaddressed promises, increasing accountability and strengthening the integrity of the peer review process. We discuss the benefits of this practice and advocate for its adoption in future conferences.

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

💬 ディスカッション

ディスカッションに参加するにはログインが必要です。

ログイン / アカウント作成 →

関連するAIDB記事