AIDB Daily Papers
LLMの自己崩壊は文化進化の現象:組成能力の非単調変化とタスク接地フィルタリングの重要性
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- LLMが自身の出力を学習する際に発生するモデル崩壊現象を、文化進化の反復学習理論を用いて言語構造の劣化メカニズムを解明した。
- モデル崩壊は、組成能力が初期に上昇しその後低下する非単調な軌跡を辿るという、理論から導出された予測と一致する重要な発見である。
- タスク接地フィルタリングのみがこの組成能力の低下を防ぎ、LLMの自己学習における圧縮・伝達トレードオフの初の実証的証拠となった。
Abstract
Model collapse, the progressive degradation of LLMs trained on their own outputs, has been characterized statistically but lacks a linguistic explanation for which structures degrade, in what order, and why. We show that iterated learning theory from cultural evolution fills this gap. We derive five falsifiable predictions, distinguish those uniquely discriminative for the theory from confirmatory ones, and test them by self-training LLaMA-2-7B and Mistral-7B over 10 generations in English, German, and Turkish. The critical discriminative finding: compositionality follows a non-monotonic trajectory (initially rising, then falling) under unfiltered self-training. This signature persists with maximally regular seed data (ruling out noise removal) and is sustained only by task-grounded filtering, not random filtering, providing the first LLM-scale evidence for the compression-communication tradeoff. All predictions are confirmed with large effect sizes (Hedges' $g > 1.6$; $mathrm{BF}_{10} > 100$), and LLM regularization gradients closely match human behavioral data ($R^2 = 0.94$). These results reframe model collapse as a cultural transmission phenomenon and yield concrete principles for self-training pipeline design.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: