『MathGLM』という新たなモデルが登場しました。このモデルは、特別に作成されたドリル（データセット）とステップ・バイ・ステップ戦略を採用することで、算術タスクにおいてGPT-4を圧倒的に上回る性能を示しています。

アプローチとしては、複雑な算術問題を解決する際に、問題をいくつかのステップに分解し、それぞれのステップを逐次的に解決するという方法を採用しています。

参照論文情報

• タイトル：GPT Can Solve Mathematical Problems Without a Calculator
• 著者：Zhen Yang, Ming Ding, Qingsong Lv, Zhihuan Jiang, Zehai He, Yuyi Guo, Jinfeng Bai, Jie Tang
• 所属：Tsinghua University, TAL AI Lab, Zhipu.AI
• URL：https://doi.org/10.48550/arXiv.2309.03241
• GitHub：https://github.com/THUDM/MathGLM

研究背景

LLMと算術タスクの関係

大規模言語モデル（LLM）の登場は、自然言語処理の算術タスクへの適用可能性を探る研究の火付け役となりました。しかし、これまでのLLM、特にGPT-4やChatGPTは、数学的な問題解決、特に算術タスクと数学の単語の問題において挑戦が残されていました。特に8桁を超える数の乗算や、小数や分数を含む操作に関連する複雑な算術操作を正確に実行することに関連する問題で顕著でした。

過去の研究と現状

過去の研究では、LLMの算術能力は主に基本的な算術操作、特に加算や減算に焦点を当てて評価されてきました。一方で、2桁の乗算の領域に焦点を当てた評価も行われています。さらに、いくつかの研究では、LLMが数学の単語の問題に直面した際に算術操作で間違いを犯すことが明らかにされています。

本研究の目的

本研究は、LLMの数学的推論能力を評価することに焦点を当てており、算術操作と数学の単語の問題の両方を包括しています。特に、複雑な算術操作を実行するLLMの能力に焦点を当てています。この研究は、LLMが多桁の数、小数、分数を含む複雑な算術操作を正確に実行する能力の獲得に挑戦しています。

『MathGLM』ができること

新たに開発された『MathGLM』は、これまでのLLMが困難としていた高精度な算術タスクを可能にする画期的なモデルとして登場しました。このセクションでは、その能力を詳細に探ります。

1. 多様な数値形式を扱う

『MathGLM』は多くの数値形式を扱うことができます。整数、小数、分数、パーセンテージ、そして負の数が含まれます。その結果、多くの算術問題をカバーすることが可能となり、その適用範囲を広げています。

2. 基本的な算術操作

このモデルは、基本的な算術操作を行うことができます。基本的な算術操作とは、加算、減算、乗算、除算を指します。算術問題は四則演算によって構成されているため、基本的な算術問題から複雑な問題まで幅広く対応することが可能となります。

3. 文章理解と計算

『MathGLM』は文章の意味を理解し、その情報を基に計算を行うことができます。文章問題などの解決に非常に有用です。

4. 算術問題の解説

さらに、このモデルはユーザーに対して算術問題の解説を行うことができます。モデルを活用して、ユーザーは問題の解決方法を理解し、学習することが可能となります。

5. 大規模な数字の操作

『MathGLM』は最大で12桁の数字を含む操作を処理することができます。この処理能力によって非常に大規模なデータセットに対する計算も可能となります。

『MathGLM』の性能