GPT-4やLLaMA-2の数学スキルをぐんとアップさせるためのアーキテクチャ『ToRA』が公開されました。
Microsoftなどの研究グループによる開発です。
○ Zhibin Gou et al., “ToRA: A Tool-Integrated Reasoning Agent for Mathematical Problem Solving”
一般にLLMは幾何学や代数などの領域で性能が不足しているとされてきました。
また計算が非効率的とも言われており、単純な数学でも処理コストがかかっていました。
そこで研究者らは、LLMが外部の数学ツールを効率的に使えるようにする『ToRA』で解決を試みています。
■『ToRA』の性能
自然言語的なアプローチとプログラム的なアプローチの両方で実験が行われ、以下の結果が出ています。
① GPT-4の数学能力を最大19.1%向上させる
② LLaMA-2の数学能力を最大29.0%向上させる
③ 10種類の数学的推論データセットで既存のオープンソースモデルの成績を13%から19%改善させる
なお、ToRAは、LLMが必要に応じて自然言語的なアプローチとプログラム的なアプローチのどちらも選択できるようにするとのことです。
■『ToRA』の使い方
① GitHubからToRAをクローンし依存関係をインストールする
② 使用したい数学データセットを選ぶ
③ 模倣学習（数学解決の軌跡を辿る）を実行する
④ 数学能力をテストする
⑤ GPT-4などのLLMとAPIなどで統合する
ゲームで例えると、モンスター（GPT-4）を道場（ToRA）で強くすると、技（数学）を扱えるようになるようなイメージです。
道場では、モンスターが師範（データセット）の動きを真似（模倣学習を実行）させることができます。
□数学に強くなるとLLMは何ができるか考察
① 多くの未解決な数学問題を進展させる
② エンジニアリングの分野で活躍する
③ ビジネスデータ解析などで役立つ
