LLMにコードの修正を繰り返し依頼すると、大体いつも「同じような回数」で品質が頭打ちになる

生成したコードが動かなければ、エラーメッセージを渡してもう一度直させる。LLMを組み込んだ開発ツールやコーディングエージェントの多くは、この「修復ループ」を基本動作として備えています。そして、うまくいくまで何回繰り返すかという上限も、どこかで必ず設定されています。自動の場合は。

ではその再試行は、何回まで続ける意味があるのでしょうか。コード生成、テスト生成、コード翻訳という異なるタスクを対象に、複数のモデルとワークフローで最大10回まで修復を繰り返した実験からは、タスクやモデルを問わず共通するパターンが確認されました。もし無駄に繰り返しているなら、トークンの消費量がもったいないですよね。

上限回数はAPI費用や実行時間、さらには評価の再現性にまで影響する設計判断です。本記事では、実験から何が見えたのか、そして自分たちのワークフロー設計にどう反映できるのかを深掘りします。実践的なテーマかもしれません。