次回の更新記事:MetaのLLM『Muse Spark 1.1』評価報告を読み解く。コ…(公開予定日:2026年07月13日)
AIDB Daily Papers

AIコーディングエージェントはコードをどう変えるのか?性能改善プルリクエストの変異パターン分析

原題: What Do AI Agents Actually Change? An Empirical Taxonomy of Mutation Patterns in Performance-Improving Pull Requests
著者: Illia Dovhoshliubnyi, Nima Soroush, Ashkan Sami, Alexander Brownlee
公開日: 2026-07-06 | 分野: ソフトウェアエンジニアリング コード生成 cs.AI cs.SE AIエージェント

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • AIエージェントが生成した性能改善コードの変更パターンを、既存の分類体系を用いて実証的に分析した。
  • エージェントごとの独自の変更傾向や戦略を明らかにし、ソフトウェア工学における変異演算子の設計に貢献した。
  • 名前の変更やオブジェクト生成などの特定の変更が支配的であり、従来の遺伝的改善手法とは異なる特性を示した。

Abstract

AI coding agents are black boxes: we cannot inspect how they generate code, but we can inspect what they change. This distinction matters for search-based software engineering (SBSE), where techniques such as genetic improvement (in the performance-optimisation application we study) depend on mutation operators that reflect how code is actually transformed. Fewer than 1% of the 33,596 agent PRs in AIDev-pop target performance, making each case a rare window into otherwise opaque agent behaviour. We classify 1,254 performance-relevant diff hunks from 216 of these PRs, spanning five agent systems, against the 18-category syntactic mutation taxonomy of Even-Mendoza et al. (2025) using a dual-LLM intersection pipeline. Three categories dominate: name modification (37.0%), object creation (26.4%), and type change (22.7%), a profile markedly different from prior GI corpora where no change accounted for 84%. Each agent's deployed system commits to a distinctive mutation vocabulary, and each performance strategy activates a largely disjoint category subset. Agent identity and target strategy are therefore informative priors that narrow the effective SBSE operator space. Replication package: https://github.com/5uper6rain/ssbse-challenge-2026

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

関連するAIDB記事