約1.7万件におよぶLLM論文を調査した結果から、現在のトレンドが報告されています。
直近では論文投稿プラットフォーム（arXiv）における計算機科学と統計学の最大12%をLLM論文が占めており、テーマは「社会的な影響」が増えています。
コーネル大学（arXiv運営機関）の研究者らによる発表です。
@ Rajiv Movva et al., “Topics, Authors, and Networks in Large Language Model Research: Trends from a Survey of 17K arXiv Papers”
LLMの研究は大きなインパクトを持つようになってきていますが、LLM研究の中でもテーマが多角化してきています。
リサーチトピックや価値観、著者や機関、協力ネットワークについての体系的な分析は有用となる可能性が高いですが、網羅的には行われていません。
そこで研究者らは、直近まで出版のものを含む16,979件のLLM関連のarXiv論文を収集し、注釈を付け、分析を行いました。
■調査研究デザイン
① arXivから2018年1月1日から2023年9月7日までのLLM関連論文を収集
② セマンティック埋め込みとクラスタリングアルゴリズムを用いてトピックを割り当て
③ 40のLLM関連トピックに基づいてデータセットを注釈付け
④ トピック、著者、機関に関する包括的に計量分析
■調査結果
① LLM関連の論文は、arXivの全体の割合として増加している
② 2023年の第2四半期には全CS/Stat（Computer Science/Statistics）投稿の最大12%を占めている
③ 2023年の論文の多くは、以前にLLM関連の論文を書いたことがない新しい著者によって書かれている
（つまり、分野への新規参入者が多い）
■■以前と比べて2023年に成長したトピック
① 大規模言語モデル、ChatGPTの応用
（Applications of LLMs/ChatGPT）
② ソフトウェア、プランニング、ロボティクス
（Software, Planning, Robotics）
③ 人間からのフィードバックや相互作用
（Human Feedback & Interaction）
など
■■2023年に特に注目されたキーワード
① llama
② chatgpt
③ like chatgpt
など
■主な結論と注意点
① LLM研究は、社会に形を与えると同時に、社会によって形作られている
② アカデミアが産業界よりも多くの論文を発表している
③ データとコードは公開されており、更新と分析の機会がシェアされています。
※なおarXivを運営しているのはコーネル大学の図書館部門で、今回の研究者らの所属は同大学の工学系大学院であり、厳密には部門が異なります。しかし連携されている可能性はあるとも考えられます。
