本記事では、Microsoftの研究グループが開発した新たなモデル「LongNet」について紹介します。LongNetは、最大10億トークンまでのテキストを処理する能力を持つことで、大規模なテキストデータの解析や生成に革新をもたらします。

参照論文情報

• タイトル：LongNet: Scaling Transformers to 1,000,000,000 Tokens
• 著者：Jiayu Ding, Shuming Ma, Li Dong, Xingxing Zhang, Shaohan Huang, Wenhui Wang, Furu Wei
• 所属：Microsoft Research
• URL：https://doi.org/10.48550/arXiv.2307.02486
• GitHub：https://github.com/microsoft/unilm

関連研究

• 大規模言語モデルへのプロンプト、重要な情報はどこに書く？
• 大規模言語モデルの”性格”特性を分析＆調整するフレームワークの登場
• 大規模言語モデルを化学ツールで拡張：新フレームワーク「ChemCrow」の登場

研究の背景とLongNetの必要性

大規模言語モデルの進化と課題

AI技術の進化に伴い、大規模言語モデルは人間のように自然言語を理解し生成する能力を持つようになりました。大規模言語モデルは、インターネット上の大量のテキストデータから学習し、人間の言語使用パターンを模倣します。しかし、これまでの大規模言語モデルには一つの大きな制約がありました。それは、一度に処理できるテキストの量、すなわち「トークン数」に制限があったことです。

トークン数の制限とその影響

一般的な大規模言語モデルは、数千から数万トークンのテキストを一度に処理することができます。この制限は、モデルが長い文章や大量のテキストデータを一度に解析する能力を制約していました。例えば、一冊の書籍全体や大規模なデータベースのテキストを一度に解析することは、これまでのモデルでは困難でした。

LongNetの登場

このような背景から、より大量のテキストデータを一度に処理できる新たな大規模言語モデルの開発が求められていました。そこでMicrosoftの研究グループが開発したのが「LongNet」です。LongNetは、最大10億トークンまでのテキストを一度に処理する能力を持つことで、これまでの制約を大きく広げることに成功しました。

この進化は、AIが扱えるテキストデータのスケールを大幅に拡大し、大規模なテキストデータの解析や生成に新たな可能性をもたらします。

LongNetの特性とその革新性

LongNetの基本的な特性

LongNetは、Microsoftの研究グループによって開発された新世代の大規模言語モデルです。その最大の特徴は、一度に最大10億トークンまでのテキストを処理する能力を持つことです。これは、一般的な大規模言語モデルの数万倍から数十万倍のスケールを意味します。

※厳密にはLongNetはTransformerモデルの一種であり、「大規模言語モデルを育てる仕組みの段階にある技術」です。しかし、一般的には、このようなモデルも大規模言語モデルと呼ばれることが多いです。なぜなら、これらのモデルが大量のテキストデータから学習し、人間のように自然言語を理解し生成する能力を持つためです。そのため、記事では簡単のために「大規模言語モデル」と表現しています。

10億トークン処理の具体的な意味

10億トークンという数値が具体的に何を意味するかというと、例えば、一冊の書籍全体を一度の入力で処理できるということです。また、理論的にはインターネット全体のテキスト情報を一つの長い連続したデータとして扱うことも可能になります。

なにがLongNetを革新的たらしめるか