ChatGPTなどに代表される自然言語処理（NLP）技術の発展に伴い、研究やアプリケーション開発の土台となる大規模な学術論文データセットの必要性が高まっています。

そんな中、32年間にわたりarXiv.orgに掲載されてきた多分野190万件の学術論文データセット「unarXive 2022」を作成したとの報告がありました。物理学、数学、コンピュータサイエンスなど多様な分野をカバーし、引用ネットワークがより完全で、文書構造や数式表現などの非テキストコンテンツを含むリッチな表現が特徴です。

論文やプロジェクトページのURLは記事下部にて記載しています。

目次

• unarXive 2022の主なデータと応用
• 期待される発展と利用範囲
• 研究データ透明性の向上、知識の民主化
• まとめ
• 関連研究

unarXive 2022の主なデータと応用

学術論文データセットunarXive 2022は主に、1,881,346の論文、63,367,836の参考文献、そして133,744,613のインテキスト引用マーカーで構成されています。

分野別の分布としては、物理学が57％、数学が20％、コンピュータサイエンスが17％、その他の分野が合わせて5％を占めています。

また引用ネットワークが充実しており、下の図で示すように「使われやすさ」を重視した内容になっています。