本記事では、LLMの推論コストを削減する「量子化」技術に関する最新の研究成果を紹介します。量子化とは、モデルの重みやアクティベーションのビット幅を削減することで、メモリと計算コストを大幅に削減する手法です。 量子化では精 … 続きを読む Llama 3.1シリーズ、8ビット量子化で半分以下のサイズでも性能をほぼ完全維持、実験で確認