次回の更新記事:今週の注目AI論文リスト(論文公開日2026/5/24~5/30…(公開予定日:2026年05月30日)
AIDB Daily Papers

LLMの自己崩壊は文化進化の現象:組成能力の非単調変化とタスク接地フィルタリングの重要性

原題: Model Collapse as Cultural Evolution
著者: Dongxin Guo, Jikun Wu, Siu Ming Yiu
公開日: 2026-05-21 | 分野: LLM AI 自然言語処理 cs.CL cs.AI cs.LG

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • LLMが自身の出力を学習する際に発生するモデル崩壊現象を、文化進化の反復学習理論を用いて言語構造の劣化メカニズムを解明した。
  • モデル崩壊は、組成能力が初期に上昇しその後低下する非単調な軌跡を辿るという、理論から導出された予測と一致する重要な発見である。
  • タスク接地フィルタリングのみがこの組成能力の低下を防ぎ、LLMの自己学習における圧縮・伝達トレードオフの初の実証的証拠となった。

Abstract

Model collapse, the progressive degradation of LLMs trained on their own outputs, has been characterized statistically but lacks a linguistic explanation for which structures degrade, in what order, and why. We show that iterated learning theory from cultural evolution fills this gap. We derive five falsifiable predictions, distinguish those uniquely discriminative for the theory from confirmatory ones, and test them by self-training LLaMA-2-7B and Mistral-7B over 10 generations in English, German, and Turkish. The critical discriminative finding: compositionality follows a non-monotonic trajectory (initially rising, then falling) under unfiltered self-training. This signature persists with maximally regular seed data (ruling out noise removal) and is sustained only by task-grounded filtering, not random filtering, providing the first LLM-scale evidence for the compression-communication tradeoff. All predictions are confirmed with large effect sizes (Hedges' $g > 1.6$; $mathrm{BF}_{10} > 100$), and LLM regularization gradients closely match human behavioral data ($R^2 = 0.94$). These results reframe model collapse as a cultural transmission phenomenon and yield concrete principles for self-training pipeline design.

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

💬 ディスカッション

ディスカッションに参加するにはログインが必要です。

ログイン / アカウント作成 →

関連するAIDB記事