JPモルガンの研究者らは、コードレビューにおいてLLMをどのように活用できるかを調査しました。

実験ではOpenAIの各種商用モデルと、比較的小規模なオープンソースLLMを使用し、セキュリティ脆弱性のあるコードにフラグを立てる能力と、ソフトウェアの機能検証能力を評価しました。

背景

コードレビューは、ソフトウェア開発プロセスの中心的な役割を果たしています。例えばバグを減らし、コードの品質を向上させるといったものです。しかし、コードレビューを実行するのには費用がかかり、あるいは面倒な場合があります。さらに、レビューが適切に行われない場合、逆効果を及ぼす場合もあります。

これまで、コードレビューを自動化する方法が研究されてきましたが、その成功は控えめなものでした。そこで白羽の矢が立っているのがLLMです。今回研究者らは、LLMがコードレビューをどのように支援できるかを調査しました。調査対象となったモデルは、Dolly、Falcon、Llama、GPTファミリーです。

なお、本来コードレビューにはさまざまなタスクがありますが、今回は2つのタスクに焦点が当てられました。

1. セキュリティ脆弱性のあるコードにフラグを立てること
2. ソフトウェアの機能検証（コードが意図した機能を満たしていることを確認すること）

問題は以下の4つでした。

1. LLMはコードのセキュリティ脆弱性にフラグを立てることができるか？
2. LLMはソフトウェアの機能検証を行うことができるか？
3. LLMはセキュリティ脆弱性にフラグを立て、同時にソフトウェアの機能検証を行うことができるか？
4. LLMはセキュリティ脆弱性に関するフィードバックを提供できるか？

以下で結果を詳しく紹介します。