開発者同士のコラボレーションをもっと促進するため、かつてないほどの透明度を目指したオープンソースLLMプロジェクト『LLM360』がスタートしたとのことです。
PetuumやMBZUAIなどの研究者らによる発表です。
– “LLM360: Towards Fully Transparent Open-Source LLMs”
昨今は様々なLLMが登場しています。しかし詳細（トレーニング方法／データ／モデル）が不透明であり、研究が進まない要因となっています。
そこで研究者らは、隅から隅まで公開する完全オープンソースの『LLM360』を提案しました。
■公開される情報
① トレーニングコード
② データ
③ モデルチェックポイント
④ 中間結果
■何のためにやるのか
透明性と再現性を高め、機関同士のコラボレーションを促進する
■既に開発された完全オープンソースモデル
① AMBER
パラメータ数：7B
事前訓練トークン数：1.3兆
② CRYSTALCODER
パラメータ数：7B
事前訓練トークン数：1.4兆
なお、先行するオープンソースLLMプロジェクト「Pythia」と比べて、最新のトレーニング手法を採用しており、またPythiaの12BモデルをAMBER（7B）モデルがオープンなベンチマークで上回ったと強調されています。
