本記事では、開発者がChatGPTをどのように使っているのかを分析した研究を紹介します。

GitHub上のマージ済みプルリクエストに含まれる共有リンクをもとに、実際のやり取りが収集され、依頼の内容や対話の特徴が整理されています。プロンプトの回数や傾向も分析されていて、実務におけるLLMの使いどころを見直すきっかけになりそうです。

背景

LLMの登場によって、ソフトウェア開発の現場に新しい変化が起きています。多くの開発者が、実際にChatGPTを使ってプログラムの記述や疑問の解消を行っています。

こうした流れは、GitHubなどのリポジトリにも表れています。コミットやプルリクエスト、コードコメントなどに、LLMによって生成された内容が含まれる事例が増えてきました。リファクタリングやバグ修正などの場面で実際に役立っており、既存のコードをもとに修正版を提案するという新しいスタイルの開発支援が注目されています。

ひとつの課題は、開発者とLLMのやり取りをどう評価するかという点です。1回のやり取りだけで望む回答が得られるとは限らず、対話を重ねて精度を高めていく場合が多い。モデルが正確で有用な応答にたどり着くまでのプロセスや、開発者がどのような意図でプロンプトを工夫しているのかを丁寧に読み解くことが、実際の開発に役立つ知見を生むと考えられます。

そこで本記事は、実際のレポジトリを対象に、LLMがどのように使われていたのかを調べた取り組みを紹介します。開発者とレビュアーが行ったやり取りの内容を分析することで、LLMがどのようにコードベースへの貢献に結び付いたかを明らかにしています。