次回の更新記事:誤解を招きやすいAI用語6選、技術語なのに揺れる意味(公開予定日:2026年04月30日)
AIDB Daily Papers

CodeTaste:LLMは人間レベルのコードリファクタリングを生成できるか?

原題: CodeTaste: Can LLMs Generate Human-Level Code Refactorings?
著者: Alex Thillen, Niels Mündler, Veselin Raychev, Martin Vechev
公開日: 2026-03-04 | 分野: LLM ベンチマーク 機械学習 ソフトウェア オープンソース

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • 大規模言語モデル(LLM)によるコードリファクタリング能力を、オープンソースプロジェクトのデータセットを用いて検証する。
  • 既存研究ではLLMが詳細な指示のもとでリファクタリングを実行できる一方、人間の選択を再現する能力は低いことが課題である。
  • 提案後実装のアプローチや、人間との整合性が高い提案を選択することで、LLMのリファクタリング精度向上が期待できる。

Abstract

Large language model (LLM) coding agents can generate working code, but their solutions often accumulate complexity, duplication, and architectural debt. Human developers address such issues through refactoring: behavior-preserving program transformations that improve structure and maintainability. In this paper, we investigate if LLM agents (i) can execute refactorings reliably and (ii) identify the refactorings that human developers actually chose in real codebases. We present CodeTaste, a benchmark of refactoring tasks mined from large-scale multi-file changes in open-source repositories. To score solutions, we combine repository test suites with custom static checks that verify removal of undesired patterns and introduction of desired patterns using dataflow reasoning. Our experimental results indicate a clear gap across frontier models: agents perform well when refactorings are specified in detail, but often fail to discover the human refactoring choices when only presented with a focus area for improvement. A propose-then-implement decomposition improves alignment, and selecting the best-aligned proposal before implementation can yield further gains. CodeTaste provides an evaluation target and a potential preference signal for aligning coding agents with human refactoring decisions in realistic codebases.

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

💬 ディスカッション

ディスカッションに参加するにはログインが必要です。

ログイン / アカウント作成 →

関連するAIDB記事