AIDB Daily Papers
経験抽出から洞察ガバナンスへ:言語的強化学習におけるフィードバックループの閉鎖
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- 本研究は、LLMエージェントが世界からのフィードバックを基に、パラメータ変更なしで学習する訓練不要な言語的強化学習手法を提案する。
- 非定常環境における知識の保持と忘却のジレンマを解決するため、評価、証拠、知識ライフサイクル、ガバナンスの4つの要件を特定し、既存手法の課題を指摘する。
- 提案する3層アーキテクチャとフィードバック駆動型キュレーションループにより、金融予測タスクにおいて、経験の活用方法次第で性能が大幅に向上することを示した。
Abstract
Training-free verbal reinforcement learning enables LLM agents to learn from world feedback -- objective signals such as dynamic task outcomes, market returns, or demand forecasts -- by extracting verbal rules from experience and injecting them as context, updating the agent's behavior without parameter changes. However, in non-stationary environments these agents face a retention-forgetting dilemma: retaining stale insights causes negative transfer, while discarding them causes catastrophic forgetting when conditions recur. We identify four requirements for navigating this dilemma -- outcome-driven evaluation, persistent structured evidence, non-monotonic knowledge lifecycle, and compositional governance -- and show that existing methods invest heavily in experience extraction while underinvesting in insight governance. We propose a three-layer architecture -- rules, evidence, and skills -- connected by a feedback-driven curation loop that closes the governance gap. Rules capture distilled experience from world outcomes; evidence logs track each rule's reliability across episodes; skills govern which rules to apply, how to resolve conflicts, and when to abstain. On financial forecasting as a case study, where world feedback is naturally abundant, noisy, and non-stationary, we show that the same accumulated experience either degrades performance below the zero-shot baseline or dramatically improves accuracy and risk-adjusted returns, depending on whether the curation loop is present.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: