arXivプラットフォームで公開された大規模言語モデル（LLM）関連の論文は累計で約1.7万件に達しているとの研究報告がありました（研究時点）。さらに、計算機科学と統計学の論文全体に占める割合は最大で12%です。

直近では「LLMの社会的影響」に焦点を当てたテーマが増えています。高まる社会への影響と潜在能力に対する関心が反映されています。

上記の調査報告を行ったのはコーネル大学の工学系研究者です。arXivプラットフォームの運営はコーネル大学の図書館が担っており、本研究は両者が連携して行った可能性が推察されます。

どのようなテーマが増加しているか、そしてLLMの研究がどのように進展しているか、本記事で調査報告を深く掘り下げていきます。

参照論文情報

・タイトル：Topics, Authors, and Networks in Large Language Model Research: Trends from a Survey of 17K arXiv Papers
・著者：Rajiv Movva, Sidhika Balachandar, Kenny Peng, Gabriel Agostini, Nikhil Garg, Emma Pierson
・所属：Cornell Tech（コーネル大学大学院工学系）
・URL：https://doi.org/10.48550/arXiv.2307.10700
・GitHub：https://github.com/rmovva/LLM-publication-patterns-public

背景と従来の課題

LLM研究の多角化

大規模言語モデル（LLM）の研究は急速に進展しています。新しい研究者が次々と参入していることもあり、研究の多角化が進んでいます。しかし、各テーマに対する体系的な分析はまだ不十分です。

LLMは社会に多大な影響を与える可能性があります。研究者の背景、例えば性別や所属機関、が研究テーマに影響を与える可能性も考えられます。しかし、そういった多様性が研究成果にどのように影響するのかについては、まだ十分な分析が行われていません。

国際協力と産業界の役割

LLM研究は国際的なフィールドであり、多くの国で研究が行われています。しかし、特定の国や産業界との協力はまだ少ないとされています。アメリカと中国の間での協力が特に少ないとも言われています。

LLM研究の進展速度は速く、そのスピードが研究の厳密性に影響を与える可能性があります。研究データや手法に関する不備が研究の信頼性に影響を与える可能性もあります。

総じて、LLM研究は多くの可能性と課題を抱えています。多角化と急速な進展が新たな課題を生んでおり、これらに対する体系的な分析と解決策が必要です。

本記事の関連研究：大規模言語モデルにおける課題と応用例を整理した結果

調査研究デザイン

データ収集の範囲

arXiv論文投稿プラットフォームから取得したLLMに関する論文が研究対象です。対象期間は2018年1月1日から2023年9月7日まで、総数は16,979件です。

研究者らは、各論文が取り組んだテーマを明確にする必要がありました。そこで、セマンティック埋め込みとクラスタリングアルゴリズムを活用し、収集した論文にトピックを割り当てました。

データセットの注釈付け

また研究者らは、上記作業によって作成された40のLLM関連トピックを基に、データセットに注釈を追加しました。注釈付けは、論文がどのトピックに関連しているか速やかに把握する手助けとなります。

そして、トピック、著者、機関に焦点を当てた包括的な計量分析を実施しました。最終的に、LLM研究の現状、トレンド、さらに社会的影響が詳しく調査されました。

本記事の関連研究：ChatGPTの”ふるまいの変化”を定量的に分析した結果

arXivとは？

arXiv（アーカイブ）は、主に物理学、数学、計算機科学、統計学、生物学、経済学など、多様な学術分野でのプレプリント論文を無料で公開するオンラインプラットフォームです。

またプレプリントとは、査読プロセスを経ていない研究論文の初版を指します。arXivプラットフォームは1991年に設立され、コーネル大学が運営しています。

arXivの主な目的は、研究者が査読プロセスを待たずに自分の研究を速やかに公開できるようにすることです。そのおかげで研究成果が広く共有され、学術コミュニティ内での即時のフィードバックが可能になります。また、多くの研究者が最新の研究動向を追うためにarXivを頻繁に利用しています。

arXivプラットフォームは、オープンアクセスの精神に基づき、全ての論文が無料でアクセス可能です。学術研究の民主化にも寄与していると評価されています。

調査結果

LLM関連論文の増加傾向

arXivに投稿されるLLM関連の論文数は増加傾向にあります。2023年の第2四半期では、計算機科学と統計学（CS/Stat）の全投稿中、最大12%がLLM関連でした。

また、