LLMは多大な計算コストとメモリーを必要とするため、モデルを軽量なものに変える量子化手法が注目を集めています。今では、大きなモデルが発表されたと同時に量子化モデルが有志によって作成されるこも多くなっています。 しかし量子 … 続きを読む 量子化はLLMの性能にどう影響を与えるか？モデルが持つ「自信」の観点から説明