次回の更新記事:産業現場でLLMを上手に使うための7つの推奨事項(公開予定日:2026年05月04日)
AIDB Daily Papers

LLM評価におけるピアIDバイアス:TRUSTパイプラインを用いた実証研究

原題: Peer Identity Bias in Multi-Agent LLM Evaluation: An Empirical Study Using the TRUST Democratic Discourse Analysis Pipeline
著者: Juergen Dietrich
公開日: 2026-04-24 | 分野: LLM AI マルチエージェント バイアス cs.AI cs.CY cs.MA 信頼性 AIエージェント

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • LLM評価パイプラインにおけるモデルIDの露出が、バイアスに影響を与えるかを実証的に検証した。
  • 単一チャネルの匿名化ではバイアスが相殺されるが、完全な匿名化により同質アンサンブルでは迎合性が、異質構成では逆の効果が明らかになった。
  • 異質アンサンブルの頑健性、完全匿名化の必要性、および品質クリティカルな応用における多エージェントLLMシステムの妥当性検証への示唆が示された。

Abstract

The TRUST democratic discourse analysis pipeline exposes its large language model (LLM) components to peer model identity through multiple structural channels -- a design feature whose bias implications have not previously been empirically tested. We provide the first systematic measurement of identity-dependent scoring bias across all active identity exposure channels in TRUST, crossing four model families with two anonymization scopes across 30 political statements. The central finding is that single-channel anonymization produces near-zero bias effects, because individual channels act in opposite directions and cancel each other out -- a result that would lead an evaluator to conclude that identity bias is absent when it is not. Only full-pipeline anonymization reveals the true pattern: homogeneous ensembles amplify identity-driven sycophancy when model identity is fully visible, while the heterogeneous production configuration shows the reverse. Model choice matters independently: one tested model exhibits baseline sycophancy two to three times higher than the others and near-zero deliberative conflict on ideological topics, making it structurally unsuitable for pipelines where genuine inter-role disagreement is the intended quality mechanism. Three practical conclusions follow. First, heterogeneous model ensembles are structurally more robust than homogeneous ones, achieving higher consensus rates and lower identity amplification. Second, full-pipeline anonymization is required for valid bias measurement -- partial anonymization is insufficient and actively misleading. Third, these findings have direct implications for the validation of multi-agent LLM systems in quality-critical applications: a system validated under partial anonymization or with a homogeneous ensemble may pass validation while retaining structural identity bias invisible to single-channel measurement.

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

💬 ディスカッション

ディスカッションに参加するにはログインが必要です。

ログイン / アカウント作成 →

関連するAIDB記事