次回の更新記事:誤解を招きやすいAI用語6選、技術語なのに揺れる意味(公開予定日:2026年04月30日)
AIDB Daily Papers

AI群衆の知恵(AI-CROWD):コンテンツ分析における真値近似のための研究プロトコルと11個のLLMによる検証

原題: Wisdom of the AI Crowd (AI-CROWD) for Ground Truth Approximation in Content Analysis: A Research Protocol & Validation Using Eleven Large Language Models
著者: Luis de-Marcos, Manuel Goyanes, Adrián Domínguez-Díaz
公開日: 2026-03-06 | 分野: LLM NLP 機械学習 情報抽出 アノテーション 評価 言語 テキスト 自動化 コンテンツ

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • 大規模コンテンツ分析における真値ラベル不足を解消するため、AI-CROWDプロトコルを導入し、LLM群の集合知を活用する。
  • AI-CROWDは、複数のLLMの推論を集約し、多数決で合意を形成、モデル固有のバイアスや曖昧さを特定し、高信頼度の分類を実現する。
  • AI-CROWDは真値の近似を提供し、診断指標で合意・不合意パターンを分析することで、コンテンツ分析の効率化と精度向上に貢献する。

Abstract

Large-scale content analysis is increasingly limited by the absence of observable ground truth or gold-standard labels, as creating such benchmarks through extensive human coding becomes impractical for massive datasets due to high time, cost, and consistency challenges. To overcome this barrier, we introduce the AI-CROWD protocol, which approximates ground truth by leveraging the collective outputs of an ensemble of large language models (LLMs). Rather than asserting that the resulting labels are true ground truth, the protocol generates a consensus-based approximation derived from convergent and divergent inferences across multiple models. By aggregating outputs via majority voting and interrogating agreement/disagreement patterns with diagnostic metrics, AI-CROWD identifies high-confidence classifications while flagging potential ambiguity or model-specific biases.

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

💬 ディスカッション

ディスカッションに参加するにはログインが必要です。

ログイン / アカウント作成 →

関連するAIDB記事