GPT-4などのLLMがセキュリティ脆弱性とソフトウェア機能性の評価能力で高い精度を示す

JPモルガンの研究者らは、コードレビューにおいてLLMをどのように活用できるかを調査しました。

実験ではOpenAIの各種商用モデルと、比較的小規模なオープンソースLLMを使用し、セキュリティ脆弱性のあるコードにフラグを立てる能力と、ソフトウェアの機能検証能力を評価しました。

背景

コードレビューは、ソフトウェア開発プロセスの中心的な役割を果たしています。例えばバグを減らし、コードの品質を向上させるといったものです。しかし、コードレビューを実行するのには費用がかかり、あるいは面倒な場合があります。さらに、レビューが適切に行われない場合、逆効果を及ぼす場合もあります。

これまで、コードレビューを自動化する方法が研究されてきましたが、その成功は控えめなものでした。そこで白羽の矢が立っているのがLLMです。今回研究者らは、LLMがコードレビューをどのように支援できるかを調査しました。調査対象となったモデルは、Dolly、Falcon、Llama、GPTファミリーです。

なお、本来コードレビューにはさまざまなタスクがありますが、今回は2つのタスクに焦点が当てられました。

1. セキュリティ脆弱性のあるコードにフラグを立てること
2. ソフトウェアの機能検証（コードが意図した機能を満たしていることを確認すること）

問題は以下の4つでした。

1. LLMはコードのセキュリティ脆弱性にフラグを立てることができるか？
2. LLMはソフトウェアの機能検証を行うことができるか？
3. LLMはセキュリティ脆弱性にフラグを立て、同時にソフトウェアの機能検証を行うことができるか？
4. LLMはセキュリティ脆弱性に関するフィードバックを提供できるか？

以下で結果を詳しく紹介します。