AIコーディング補助ツール（GitHub Copilot）で開発者の生産性が26%向上　大規模調査結果

LLMが経済に大きな影響を与えると考えられています。中でも技術的な仕事において、LLMが人間の仕事を多く担えるようになると言われています。例えば高度な技術知識を使う仕事の効率に対しては、良い影響を期待する声があります。ただし一方で、慎重な意見もあります。

LLMのツールを使いたいと思うかどうかや、それに合わせて必要な投資ができるかなど、はっきりしないことがまだまだあるため、LLMが仕事効率がどれくらい上げられるかを測るのは難しいのが今の状況です。そんな中、プログラム分野では、すでにLLMを使ってコードを書くのを手伝うツールが実際に売られており、さまざまな職場で広く使われています。

この状況の中、今回研究者らは、3つの会社で行われた大規模な実験のデータを分析しました。そして、LLMベースのコード支援ツール「GitHub Copilot」がプログラマーの仕事の効率にどのような影響を与えるかを調べました。

実験では、プログラマーを2つのグループに分けました。1つはCopilotを使えるグループ、もう1つは使えないグループです。そして、一定期間が過ぎた後で、仕事の効率にどのような違いがあるかを測りました。実験は各会社の通常業務を活用して行われたので、まさに現実の環境での効果測定と言えます。

これまでの研究では、主に管理された実験室のような環境で、LLMツールが短い期間でどのような影響を与えるかが調べられてきました。一方で、今回の研究は実際の職場で実験が行われ、高い技術を持ち高い給料をもらっている知識労働者に対するLLMの影響を調べた点が新しいところです。

また、勤続年数や立場によってLLMツールの効果に違いがあるかも分析されたため、LLMが高度な専門家の間でも当てはまるかどうかが初めて明らかになりました。

以下で実験内容や実験結果、そして考察を詳しく紹介します。