本記事では、LLMベースのコーディング補助ツールが、プログラマーたちの仕事の効率にどのような影響を与えるかを調べた研究を紹介します。

Microsoft、アクセンチュア、そして匿名希望の大手電気製品メーカーの3つの会社で行われた実験データが分析され、GitHub Copilotがどれほど役立つかが評価されました。

およそ5000人のプログラマーたちを対象としており、彼らの勤続年数や、どのような立場で働いているかによって、どのように効果に違いがあるかも調査しています。

背景

LLMが経済に大きな影響を与えると考えられています。中でも技術的な仕事において、LLMが人間の仕事を多く担えるようになると言われています。例えば高度な技術知識を使う仕事の効率に対しては、良い影響を期待する声があります。ただし一方で、慎重な意見もあります。

LLMのツールを使いたいと思うかどうかや、それに合わせて必要な投資ができるかなど、はっきりしないことがまだまだあるため、LLMが仕事効率がどれくらい上げられるかを測るのは難しいのが今の状況です。そんな中、プログラム分野では、すでにLLMを使ってコードを書くのを手伝うツールが実際に売られており、さまざまな職場で広く使われています。

この状況の中、今回プリンストン大学やMITなどの研究者らは、Microsoft、アクセンチュア、匿名希望の電機製品メーカー（以下、匿名会社）の3つの会社で行われた大規模な実験のデータを分析しました。そして、LLMベースのコード支援ツール「GitHub Copilot」がプログラマーの仕事の効率にどのような影響を与えるかを調べました。

実験では、プログラマーを2つのグループに分けました。1つはCopilotを使えるグループ、もう1つは使えないグループです。そして、一定期間が過ぎた後で、仕事の効率にどのような違いがあるかを測りました。実験は各会社の通常業務を活用して行われたので、まさに現実の環境での効果測定と言えます。

これまでの研究では、主に管理された実験室のような環境で、LLMツールが短い期間でどのような影響を与えるかが調べられてきました。一方で、今回の研究は実際の職場で実験が行われ、高い技術を持ち高い給料をもらっている知識労働者に対するLLMの影響を調べた点が新しいところです。

また、勤続年数や立場によってLLMツールの効果に違いがあるかも分析されたため、LLMが高度な専門家の間でも当てはまるかどうかが初めて明らかになりました。

以下で実験内容や実験結果、そして考察を詳しく紹介します。