AIDB Daily Papers
AI群衆の知恵(AI-CROWD):コンテンツ分析における真値近似のための研究プロトコルと11個のLLMによる検証
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- 大規模コンテンツ分析における真値ラベル不足を解消するため、AI-CROWDプロトコルを導入し、LLM群の集合知を活用する。
- AI-CROWDは、複数のLLMの推論を集約し、多数決で合意を形成、モデル固有のバイアスや曖昧さを特定し、高信頼度の分類を実現する。
- AI-CROWDは真値の近似を提供し、診断指標で合意・不合意パターンを分析することで、コンテンツ分析の効率化と精度向上に貢献する。
Abstract
Large-scale content analysis is increasingly limited by the absence of observable ground truth or gold-standard labels, as creating such benchmarks through extensive human coding becomes impractical for massive datasets due to high time, cost, and consistency challenges. To overcome this barrier, we introduce the AI-CROWD protocol, which approximates ground truth by leveraging the collective outputs of an ensemble of large language models (LLMs). Rather than asserting that the resulting labels are true ground truth, the protocol generates a consensus-based approximation derived from convergent and divergent inferences across multiple models. By aggregating outputs via majority voting and interrogating agreement/disagreement patterns with diagnostic metrics, AI-CROWD identifies high-confidence classifications while flagging potential ambiguity or model-specific biases.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: