Microsoftの研究者らによって、比較的小さなサイズながらもタスクによってはOpenAIのGPT-4を凌駕する言語モデル『Orca2』が発表されました。
将来的には相互補完的に使用されていくのが理想と述べられています。
@ Arindam Mitra et al., “Orca 2: Teaching Small Language Models How to Reason”
論文によると、従来、小規模言語モデルは大規模言語モデル（LLM）と同等の性能を達成するのは難しいとされていました。
複雑な推論を必要とするタスクではなおさらと言われていました。
しかし今回研究者らは、LLMと異なるアプローチでモデル『Orca2』を開発し、問題の解決を試みています。
■『Orca2』の性能におけるポイント
① 小規模ながらも高度な推論能力を持つ
② 下記のような複雑なタスクにおいて、LLMと同等またはそれ以上の性能を示す：
言語理解
常識推論
多段階推論
数学問題解決 など
■『Orca2』の技術的な工夫
① 特化型のトレーニングを行っている
② 効率的なアーキテクチャを採用している
■『Orca2』が向いている使用シーン
① 計算資源が限られた環境
② リアルタイム処理が求められるアプリケーション
■GPT-4に対する『Orca2』の優位性
① タスクによってはGPT-4と同等以上の性能を発揮
② 小規模なため低コスト
③ 特定のタスクに対してカスタマイズされたトレーニング方法を採用
（＝優れた性能を発揮させたいタスクを選択できる）
■今後の展望
① 新しいトレーニング手法の開発
② アーキテクチャの最適化を追求
③ さまざまな言語や文化に対応できるようモデルの汎用性を高める
■注意点
以下のような点では、GPT-4などのLLMの方が有利だと言われています。
① さまざまなタスクに対して一度に取り組む場合
② 非常に複雑なタスク
③ 多様な知識が必要なタスク
Orca 2のような小規模モデルはGPT-4のような大規模モデルと相互補完的に利用されていくのが理想的とのことです。
