算術タスクでGPT-4を圧倒的に上回る大規模言語モデルが『MathGLM』登場しました。
特別に作成したドリル（データセット）とステップ・バイ・ステップ戦略が功を奏したとのことです。
○ Zhen Yang et al. GPT Can Solve Mathematical Problems Without a Calculator
LLMが算術をできるようになると、単なる計算機を超えて、ドキュメントベースでの数的解析や、音声ベースでの計算を行えるようになります。
今回新しく登場した『MathGLM』は、これまで困難であった「LLMでの高精度な算術」を可能にした画期的なモデルです。
■『MathGLM』ができること
① 様々な数値形式を扱う
（整数、小数、分数、%、負の数）
② 加算、減算、乗算、除算を行う
③ 文章の意味を理解して計算を行う
④ ユーザーに対して算術問題を解説する
⑤ 最大12桁の数字を含む操作を処理する
■『MathGLM』の性能
・テストデータセットで93.03％の精度を達成
（GPT-4は18.84％）
・1000万パラメータの小規模モデルでも能力が高い
（GPT-3でもパラメータ数は数百億から数千億）
・算術タスクだけでなく汎用的な言語能力も持つ
■『MathGLM』は如何にして生まれたか
① 算術データセットを構築
（幅広い算術操作をカバー）
② MathGLMモデルを事前学習
③ 算術問題を自動で「ステップバイステップで」解くように設計
特に③が重要で、複雑な算術問題が与えられても、細かく多段階に分解して解くことで、答えの精度を大幅に向上させることができるそうです。
■考察
他のモデルでも『MathGLM』のステップバイステップ戦略を採用することで算術タスクの精度が向上する可能性があります。
『MathGLM』はステップバイステップ戦略を自動的に採用して問題を解決する能力を持つため、アーキテクチャの勝利とも読み取ることができるかもしれません。
なお、MathGLMは1000万パラメータ〜20億パラメータまで開発され比較されましたが、モデルサイズが大きいほど性能も高かったとのこと。
