次回の更新記事:AIエージェントの実力はハーネスで変わる(公開予定日:2026年06月01日)
AIDB Daily Papers

MERIT:ルーブリック情報に基づくトレーニングで査読者割り当ての専門知識をマッチング

原題: MERIT: Matching Expertise via Rubric-Informed Training for Reviewer Assignment
著者: Zixuan Yang, Yibo Zhao, Weicong Liu, Xiang Li
公開日: 2026-05-27 | 分野: LLM NLP cs.CL AI支援 AI評価

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • 論文の専門性と査読者の適合性を評価するMERITという二段階フレームワークを提案した。
  • LLMとルーブリックを活用し、専門知識の次元を特定して適合性を判断することで、スケーラブルな教師あり学習を実現した。
  • MERITは、大規模な査読者割り当てにおいて、既存手法を上回る最先端の性能を示した。

Abstract

Matching submissions with suitable reviewers at scale is a growing challenge for major venues, yet existing approaches either rely on coarse proxy signals that conflate general relatedness with true suitability, or require expensive human annotations that are difficult to scale for training. We propose MERIT, a two-stage framework that bridges this gap by converting criterion-level expertise matching into scalable suitability supervision. In the first stage, we train a reviewer assessor via reinforcement learning to identify the expertise dimensions a paper requires, match them against the reviewer's prior work, and produce a suitability decision, with rewards provided by an LLM judge guided by paper-specific expertise rubrics. In the second stage, we distill the assessor's predictions into an embedding-based retriever for efficient large-scale assignment. Experiments show that our 4B reviewer assessor outperforms larger general-purpose LLMs on suitability classification, and the resulting retriever achieves state-of-the-art performance across LR-Bench and the CMU Gold dataset. Our code is available at https://github.com/Luli3220/MERIT.

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

💬 ディスカッション

ディスカッションに参加するにはログインが必要です。

ログイン / アカウント作成 →

関連するAIDB記事