本記事では、LLMが生成したコードと人間が書いたコードを比較した大規模な分析研究を紹介します。

対象はPythonとJavaの50万件を超えるコードで、セキュリティや保守性、構造的な複雑さに注目しています。静的解析ツールを用いて、モデルごとの傾向やリスクパターンが丁寧に検証されています。

LLMを業務に取り入れる際の注意点や、レビュー・検証の観点を整理する上で参考になる内容です。

背景

コード生成技術の進展により、ソフトウェア開発の姿が大きく変わりつつあります。関数やクラス、場合によってはモジュール全体を、人手をほとんどかけずに生成できるようになってきました。こうした変化の背景には、テキストとコードの両方を扱えるLLMの普及があります。プログラミングは、設計と実装を人間が担う工程から、LLMが出力を主導するプロセスへと移行しているとも言われています。

今後、新たに書かれるコードの大部分がLLMによって生成される可能性も指摘されています。その結果として開発効率やアクセス性の向上といった利点が期待される一方で、生成コードの品質や信頼性には依然として懸念が残ります。開発者の役割も変わりつつあり、コードを書く立場から、LLMの出力を監督・調整する立場へと移行しています。

ご存じの方も多いと思われますが、LLMによって生成されたコードには特徴的な傾向があります。構造が簡潔でパターン化されており、ユーティリティコードやラッパーなどが繰り返し利用されるケースが多く見られます。

生成コードが十分なレビューを経ることなく、プロダクション環境やオープンソースのリポジトリに組み込まれることもあります。しかし、LLMによるコード生成がソフトウェア品質に与える影響については、まだ十分に解明されていません。

こうした課題を踏まえ、研究者らは人間作成コードとLLM生成コードを比較する大規模な分析を行いました。PythonとJavaを対象に、50万件以上のコードを用いて、不具合や脆弱性、構造的複雑性といった観点から包括的な評価を行っています。