Hugging Faceの研究者らによると、LLMに「ありがとう」と送るだけで、LED電球を3分間つけるのと同じくらいの電力が消費されているとのこと。世界中で毎日何十億ものプロンプトが処理されていることを考えると、「礼儀正しさ」の積み重ねが無視できない電力消費につながる可能性があります。
どういう仕組みか。LLMは「ありがとう」という短いメッセージを受け取っても、モデル全体を動かして返事を生成します。
本格的な質問と同じように計算資源を使ってしまう仕組み自体は変わらないのです。
研究者らは実験で1万件の「ありがとう」メッセージに対する応答を測定し、エネルギー消費がプロンプト長と出力長に比例することを確認し、現実にこの現象が起きていることを示しました。
なお、実験ではNVIDIA H100という高性能GPUでLLaMA 3.1-8Bモデルを動かした場合が測定されており、使用するハードウェアやモデル、最適化手法によって具体的な数値は変わります。
とはいえ、この傾向そのものはアーキテクチャの特性に由来するため、実行環境に依存しない普遍的な性質といえます。
環境負荷を考えると、AIチャットボットに「ありがとう」言いたくなる気持ちをこらえてみるのも一つの選択です。
