GPT-4を使用した知的労働者のパフォーマンスが全体的に向上し、特に「もともと成績のよくない人」が大幅にスキルを向上させたという報告があります。この驚くべき結果は、ハーバードビジネススクール、ペンシルバニア、MITなどのMBA部門とボストンコンサルティンググループ（BCG）による共同研究から得られたものです。

ただし、注意すべき事実もあります。この記事では、AIを使用することで得られる利点とともに、その限界やリスクについての調査結果を詳しく解説していきます。

参照論文情報

• タイトル：Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality
• 著者：Fabrizio Dell’Acqua, Edward McFowland III, Ethan Mollick, Hila Lifshitz-Assaf, Katherine C. Kellogg, Saran Rajendran, Lisa Krayer, François Candelon, Karim R. Lakhani
• 所属：Harvard University, Boston Consulting Group, The Wharton School, Warwick Business School, MIT Sloan School of Management
• URL：https://dx.doi.org/10.2139/ssrn.4573321

研究背景

AIと知的労働の交差点

近年、人工知能（AI）の能力が急速に進化しており、特に大規模言語モデル（LLM）の登場によって、AIは人間に近い作業を行えるようになってきました。この進化がもたらす影響は多岐にわたり、特に知的労働においてその影響が大きいとされています。

定量的データの必要性

AIと人間の作業がどれほど重なっているのか、そしてその結果としてどのような新しい課題や機会が生まれるのかについては、まだ定量的なデータが不足しています。このような背景から、AIの影響を具体的に測定するための研究が必要とされています。

AIの課題

AIが得意とするタスクとそうでないタスクは現実世界に混在しており、その境界線は複雑なものです。このフロンティアをどのように人々が攻略するかが、今後の知的労働の質と効率に大きく影響を与えるとされています。

検証内容

対象者とその分類

研究は、ボストンコンサルティンググループ（BCG）のコンサルタント758名を対象に行われました。参加者は、性別、地域、在籍期間、「革新に対する姿勢」、母国語が英語かどうかなど、複数の基準に基づいて、（レベルが等しい）3つの異なる集団に分類されました。そしてそれぞれに対して、GPT-4との異なる関わり方を指示しました。

1. GPT-4なし
2. GPT-4あり
3. GPT-4とプロンプトエンジニアリングトレーニングあり

実験フェーズとその詳細

実験は以下の3つのフェーズで行われました：

1. 初期のデモグラフィックと心理的プロファイリング：参加者は、オフィスの場所、BCGでの在籍期間、Big 5の性格特性などについての調査に回答しました。
2. 主要な実験フェーズ：このフェーズでは、参加者は複数のタスクを完了し、そのパフォーマンスが評価されました。主なタスクは、企業のブランドとチャネルのパフォーマンスを分析するものでした。
3. 結論としてのインタビュー：最後に、参加者はAIの役割についてのインタビューを受けました。

タスクの性質と評価基準

タスクは、企業のブランドとチャネルのパフォーマンスを分析するもので、参加者はインタビューと財務データを用いてCEOに対する勧告を行いました。また、タスクは、創造性、分析的思考、文章力、説得力など、4つの異なる領域にわたって設計されました。

報告内容

GPT-4の効果によるパフォーマンス向上

研究では、GPT-4を使用したコンサルタント集団が顕著なパフォーマンス向上を示しました。具体的には以下のような成果が確認されました。

• タスクの完了数の増加: GPT-4を使用した集団は、平均で12.2%多くのタスクを完了しました。これは、AIの効率化能力が直接的に生産性に寄与した結果だと考えられます。
• タスク完了までの時間短縮: GPT-4を使用した集団は、タスクを平均で25.1%早く完了しました。これは、GPT-4が情報検索やデータ分析などの時間を大幅に削減したためだと考えられます。
• タスク品質の向上: 驚くべきことに、タスクの品質も平均で40%向上しました。これは、GPT-4が高度な分析や洞察を提供し、それが最終的な成果に反映されたからだと考えられます。

なお、GPT-4を自分なりに使用した集団（GPT Only）と、プロンプトエンジニアリングのトレーニングを受けた上でGPT-4を使用した集団（GPT + Overview）との間にも、パフォーマンスの違いがありました。下の図で視覚的に確認することができます。

低パフォーマンス層の顕著なスキル向上

研究のもう一つの注目すべき点は、平均パフォーマンスが一定の閾値以下であった参加者の43%が、自身のスコアを向上させたことです。対照的に、平均パフォーマンスが閾値以上であった参加者は、その向上率が17%にとどまりました。

このデータは、特に成績が低かった人々がGPT-4の活用によって大きく成長する可能性が高いという重要な示唆を与えています。

注意すべき事実