AIDB Daily Papers
LLMの「個性」を暴く:応答バイアスと真の個性を分ける新手法
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- 大規模言語モデル(LLM)の行動特性を分析する際、応答バイアスやノイズと真の個性を区別する手法を開発しました。
- 心理尺度のデータと統計モデルを組み合わせ、10種類のLLMから得られた7490万件の評価データを分析しました。
- LLMの応答には、統計的偶然や応答バイアスでは説明できない、モデル固有の「機械的個性」が平均16.9%存在することを発見しました。
Abstract
As large language models (LLMs) are increasingly integrated into daily life, in roles ranging from high-stakes decision support to companionship, understanding their behavioral dispositions becomes critical. A growing literature uses psychometric inventories and cognitive paradigms to profile LLM dispositions. However, these approaches cannot determine whether behavioral differences reflect stable, stimulus-specific individuality or global response biases and stochastic noise. Here, we apply crossed random-effects models -- widely used in psychometrics to separate systematic effects -- to 74.9 million ratings provided by 10 open-weight LLMs for over 100,000 words across 14 psycholinguistic norms. On average, 16.9% of variance is attributable to stimulus-specific individuality, robustly exceeding a statistical null model. Cross-norm prediction analyses reveal this individuality as a coherent fingerprint, unique to each model. These results identify individual differences among LLMs that cannot be attributed to response biases or stochastic noise. We term these differences machine individuality.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: