AIDB Daily Papers
コーディングAIエージェント:ルールは性能を向上させるか、歪めるか?安全策が指示よりも効果的
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- GitHubから収集した大規模データセットを用いて、AIコーディングエージェントに対する自然言語ルールの影響を検証した。
- ルールは性能を向上させるものの、専門家が作成したルールとランダムなルールに差がなく、文脈 priming 効果が示唆された。
- 否定的な制約ルールが有効で、肯定的な指示ルールは逆効果となることが判明し、安全なエージェント設定の原則が明らかになった。
Abstract
Developers increasingly guide AI coding agents through natural language instruction files (e.g., CLAUDE.md, .cursorrules), yet no controlled study has measured whether these rules actually improve agent performance or which properties make a rule beneficial. We scrape 679 such files (25,532 rules) from GitHub and conduct the first large-scale empirical evaluation, running over 5,000 agent runs with a state-of-the-art coding agent on SWE-bench Verified. Rules improve performance by 7--14 percentage points, but random rules help as much as expert-curated ones -- suggesting rules work through context priming rather than specific instruction. Negative constraints ("do not refactor unrelated code") are the only individually beneficial rule type, while positive directives ("follow code style") actively hurt -- a pattern we analyze through the lens of potential-based reward shaping (PBRS). Moreover, individual rules are mostly harmful in isolation yet collectively helpful, with no degradation up to 50 rules. These findings expose a hidden reliability risk -- well-intentioned rules routinely degrade agent performance -- and provide a clear principle for safe agent configuration: constrain what agents must not do, rather than prescribing what they should.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: