大規模言語モデル（LLM）のこれまでとこれから②　-モデル構築編-

本記事では、LLM研究全体の背景と現状、そして将来展望を網羅的に整理する調査論文をもとに、LLMの基礎を振り返ります。前回は、代表的なモデルについて深掘りしました。

前回の記事：大規模言語モデル（LLM）のこれまでとこれから①　-代表的なモデル編-

今回は、モデルの構築について深掘りします。

前回のおさらい

前回は、LLMの登場に至るまでの経緯と代表的なモデルについて触れました。主に以下のような内容です。

• 初期のニューラル言語モデルが現代の高度なモデル（GPT、LLaMA、PaLMなど）に進化した
• トランスフォーマーモデルの採用が言語理解・生成能力の向上につながった
• 数十億のパラメータを持つモデルが出現し、精度が飛躍的に向上した
• LLMにおいては事前学習、微調整、および人間のフィードバックによる強化方法が注目されている
• 大規模なモデルになったことで、新たなタスクへの適応能力や指示に従う能力など、旧来には見られない能力が発現した
• オープンソースモデルが登場し、分野の進歩に貢献している

上記の続き（あるいは独立したコンテンツ）として、以下では「モデルの構築」に焦点を当てています。LLMに一般的に使用されている構造を再確認し、データ準備やトークン化、事前学習、命令文の調整、そしてアライメントまでのデータ処理やモデリング技術について説明します。フローで示すと、