AIDB Daily Papers
AIコーディングエージェントはコードをどう変えるのか?性能改善プルリクエストの変異パターン分析
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- AIエージェントが生成した性能改善コードの変更パターンを、既存の分類体系を用いて実証的に分析した。
- エージェントごとの独自の変更傾向や戦略を明らかにし、ソフトウェア工学における変異演算子の設計に貢献した。
- 名前の変更やオブジェクト生成などの特定の変更が支配的であり、従来の遺伝的改善手法とは異なる特性を示した。
Abstract
AI coding agents are black boxes: we cannot inspect how they generate code, but we can inspect what they change. This distinction matters for search-based software engineering (SBSE), where techniques such as genetic improvement (in the performance-optimisation application we study) depend on mutation operators that reflect how code is actually transformed. Fewer than 1% of the 33,596 agent PRs in AIDev-pop target performance, making each case a rare window into otherwise opaque agent behaviour. We classify 1,254 performance-relevant diff hunks from 216 of these PRs, spanning five agent systems, against the 18-category syntactic mutation taxonomy of Even-Mendoza et al. (2025) using a dual-LLM intersection pipeline. Three categories dominate: name modification (37.0%), object creation (26.4%), and type change (22.7%), a profile markedly different from prior GI corpora where no change accounted for 84%. Each agent's deployed system commits to a distinctive mutation vocabulary, and each performance strategy activates a largely disjoint category subset. Agent identity and target strategy are therefore informative priors that narrow the effective SBSE operator space. Replication package: https://github.com/5uper6rain/ssbse-challenge-2026
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: