GPT-4などの大規模言語モデル（LLM）はいかにしてソフトウェアエンジニアリング（SE）で活用できるか、その注目度は高くなってきています。
そこで、Metaなどの研究者らはこのテーマに関する包括的な調査と分析を行い、結果を報告しています。

まず結論としては、LLMは非常に有望であることが報告されています。
一方で、いくつかの技術的課題が存在します。ただし、ソフトウェアエンジニアリングには、このような問題に対処するための自動化されたテスト技術がすでに存在します。

そのため、伝統的なソフトウェアエンジニアリング技術とLLMを組み合わせたハイブリッドアプローチが、信頼性、効率性、効果性の面で特に有用であるとされています。

本記事ではタスク別の応用方法などを詳しくまとめました。

参照論文情報

・タイトル：Large Language Models for Software Engineering: Survey and Open Problems
・著者：Angela Fan, Beliz Gokkaya, Mark Harman, Mitya Lyubarskiy, Shubho Sengupta, Shin Yoo, Jie M. Zhang
・所属：Meta Platforms Inc., School of Computing KAIST, Department of Informatics King’s College London
・URL：https://arxiv.org/abs/2310.03533

従来の課題と背景

ソフトウェアエンジニアリング（SE）は、日々進化するテクノロジーとともに、その効率化と自動化がますます求められています。そして今、LLMの応用が注目を集めています。

LLMは自然言語処理（NLP）の分野で多くの成功を収めており、その応用範囲は広がりつつあります。ソフトウェアエンジニアリングにおける多くのタスクでも実用が試されています。

しかし、LLMには「ハルシネーション（hallucinations）」と呼ばれる現象、つまり不正確または誤った情報を生成する可能性があり、信頼性に影響を与える可能性があります。

さらに、LLMの非決定的な性質は、科学的評価にも課題をもたらしています。同じプロセスを実行してもその度に結果が異なる可能性があり、この特徴はタスクによっては導入の障壁になっています。

他にも、ソフトウェアエンジニアリングにおけるLLMの具体的な能力やリスクについては、まだ十分に理解されていないというのが現状です。

以上のような背景から、研究者らはLLMのソフトウェアエンジニアリングへの応用に関する包括的な調査を行い、その結果を報告しています。

以下ではタスク別で調査報告を詳しくまとめていきます。

コーディング、設計、要件定義、バグ修正、リファクタリング、パフォーマンス改善、ドキュメンテーション、分析に分けて内容を見ていきましょう。

本記事の関連研究：GPT-4を使用した知的労働者のパフォーマンスは軒並み向上し、もとの成績が良くないほど顕著。※注意点あり

コーディング

コード生成の有用性とリスク

LLMは既存のコードリポジトリから学習することで、コードの再利用性と予測可能性を高め、効果的なコード生成の推奨を行います。この特性は、修復、改良とテストを繰り返すコード生成において非常に有用です。

しかし、コード生成のタスク分野においては「ハルシネーション」と呼ばれるリスクに注意が必要です。LLMが生成するコードには誤りが含まれる可能性があり、特に、LLMが大規模なデータセットで訓練された場合に顕著になります。

コードレビューの可能性

LLMはコードレビューにおいても有用である可能性があります。多くのソフトウェアエンジニアが「LLMベースのコード補完が実用化されると、プログラマーはコードを書くよりもレビューに多くの時間を費やすだろう」と予想しています。

パフォーマンスと進化

コード生成モデルのパフォーマンスは急速に進化しています。例えば、HumanEvalデータセットにおいて、最も優れたコード生成モデルは90%以上の生成タスクで正確なコードを生成できます。これは、GPT-4の元のレポートで示された67%と比較して大幅な進歩です。

今後も進歩が続くと、コード生成タスクにおけるLLM活用はメインストリームになる可能性は高いかもしれません。

本記事の関連研究：大規模言語モデル vs 小規模人間モデル（つまり人間）で「フィッシング詐欺メールバトル」を行った結果

設計

デザインパターンの生成と推薦

LLMは強力な自然言語処理とコード生成能力を持っているため、デザインパターンの生成と推薦において有用なツールとなる可能性があります。さらに、開発者に対して説明やドキュメンテーションを提供することも可能です。※ドキュメンテーションに関しては別セクションで紹介します。

デザインパターンは、実用的なソフトウェアエンジニアリングにおいて三十年以上にわたって重要な役割を果たしています。

設計の複雑性への対応

しかし、LLMを設計タスクに適用する際には、設計の複雑性に対応するための追加のフレームワークが必要な場合も多いです。現在のところ、高度な設計目標に対してLLMに依存することには慎重な意見が多く、この領域はまだ研究が求められています。

本記事の関連研究：大規模言語モデルにおける課題と応用例を整理した結果

要件定義

自然言語での要件収集

LLMは、自然言語処理の能力を活かして、要件定義の段階で特に有用です。要件は多くの場合、