本記事では、新たに発表された大規模言語モデル（LLM）ファミリーQwen2.5シリーズを紹介します。LLMの開発競争が世界中で加速する中、モデルやデータの規模拡大だけでなく、効果的な学習手法の確立が求められてきました。研究者らは、18兆トークンにまで拡大した事前学習データと100万件以上のサンプルを用いた高度な教師あり学習、そして多段階強化学習を組み合わせることで、次世代のモデル開発に取り組みました。

背景

LLMの開発競争が世界中で加速する中、モデルの性能向上に向けた取り組みが続けられています。言語理解や生成、推論といった基本的な能力の向上には、モデルやデータの規模拡大だけでなく、効果的な学習手法の確立が不可欠とされてきました。

従来の手法では、事前学習後のモデルに対して教師ありファインチューニングを適用し、さらに人間からのフィードバックを活用した強化学習を組み合わせることで、モデルの性能向上が図られてきました。しかし、長文の処理や構造化データの分析、指示への正確な追従といった課題が残されていました。

また、モデルの推論時における処理能力の向上も重要な課題となっています。段階的な推論や熟考のプロセスを実現することで、より複雑な問題解決への対応が模索されてきました。

こうした技術的な課題に加えて、研究開発の成果を広く活用可能にするための取り組みも進められています。オープンソースのLLMを公開することで、研究者や開発者がより容易にアクセスでき、様々な分野でのイノベーション創出につながることが期待されています。

このような背景のもと、研究者らは事前学習データを7兆トークンから18兆トークンへと大幅に拡大し、さらに100万件以上のサンプルを用いた高度な教師ありファインチューニングと多段階強化学習を組み合わせることで、次世代のLLM「Qwen2.5」の開発に取り組みました。

以下で詳しく紹介します。