クラウドワーカーが大規模言語モデルを使用している現状の調査と分析

本記事では、スイス連邦工科大学（EPFL）の研究者による最新の研究を紹介します。この研究は、クラウドソーシングプラットフォームAmazon Mechanical Turk（MTurk）で働くクラウドワーカーがテキスト生成タスクにおいて大規模言語モデル（LLM）をどの程度使用しているかを調査し、その結果とその影響について詳しく分析しています。

参照論文情報

• タイトル：Artificial Artificial Artificial Intelligence: Crowd Workers Widely Use Large Language Models for Text Production Tasks
• 著者：Veniamin Veselovsky, Manoel Horta Ribeiro, Robert West
• 所属：スイス連邦工科大学
• URL：https://doi.org/10.48550/arXiv.2306.07899
• GitHub：https://github.com/epfl-dlab/GPTurk

関連研究

• AIはお笑いを理解できるのか？ChatGPTのユーモアセンスを検証
• AIが科学論文の査読を補助する日は近い？
• GPTが「心の理論」をもつかどうかはプロンプト次第
• 大規模言語モデルGPT-4、日本の医師国家試験に合格　国際研究チームが論文報告

大規模言語モデルの現場での利用

人間の仕事に対するLLMの影響

AI技術の進歩により、大規模言語モデル（LLM）はテキスト生成タスクにおいて人間に匹敵するパフォーマンスを発揮するようになりました。LLMは、高品質な教師あり学習データや調査データ、実験データを生成するための優れたツールとして使用できます。しかし、LLMの能力とその生成物の妥当性を判断するのは、やはり人間です。

クラウドソーシングは、人間の労力を安く効率的に得る方法ですが、LLMの使用により影響を受ける可能性があります。というのも、クラウドワーカーは、仕事の効率を上げて収入を増やすために、LLMを使うメリットがあるからです。

この予想が現実のものになっているかを調査するために、研究者らはクラウドワーカーによるLLM使用がどれほど普及しているかについてのケーススタディを行いました。

クラウドワーカーによるLLMの利用状況

研究者らは、Amazon Mechanical Turk（MTurk）というクラウドソーシングプラットフォームで、「テキストの要約タスク」の実施状況を調査しました。

その結果、クラウドワーカーの約3分の1から半数近くがタスクをこなす際にLLMを使っていることを見つけました。これは、LLMが人間の仕事を大きく手助けしていることを示しています。

しかし、一方で、クラウドワーカーの約4分の1が、AIが間違った情報を提供することを報告しています。これは、LLMの使用が必ずしも正確な結果をもたらすわけではないことを示しています。

LLMの利用とその問題点

上記の結果から、LLMの使用が人間のデータをAI由来のデータに置き換える可能性が示唆されています。その影響を最小限に抑えるための対策が必要な理由を、下記にいくつか挙げていきます。