拡散モデルベースの大規模商用LLMを詳細に報告した論文としてはおそらく初の公開です。
そのLLM「Mercury」は、まるで絵を描くようにテキストやコードを全体的に作り上げていきます。
(「ChatGPT」などTransformerベースのLLMは一文字ずつ順番に生成)
画像生成AIによく使われる技術が転用されています。
この根本的な仕組みの違いによって処理速度が飛躍的に向上しており、1秒間に1000文字以上を処理しており既存の高速モデルの10倍だそうです。
速度だけでなく品質も良く、プログラミングの正確性を測る様々なテストで、既存の優秀なAIと同等またはそれ以上の成績を収めたそうです。
Python、JavaScript、C++など複数言語に対応し、コードの穴埋め作業なども得意とのことです。
人間の開発者による評価でも高く評価されており、コード生成の品質では2位にランクインしながら、応答速度は最速を記録しています。
この「Mercury」は公式Webサイト上で使用可能である他、APIも提供されています。