AIモデル推論時の消費電力とCO2排出量を定量分析

「タスク特化モデルよりも汎用モデルのエネルギー消費とCO2排出量が著しく高い」「生成タスクは分類タスクに比べてエネルギー消費が高い」などが調査で定量的に示されました。

AIモデルの各タスクにおけるエネルギー（電力）消費量やCO2排出量が、実験＆統計分析されまとめて報告されています。

HuggingFace、カーネギーメロン大学、Allen Institute for AIの研究者らによる発表です。

– Alexandra Sasha Luccioni et al., “Power Hungry Processing: Watts Driving the Cost of AI Deployment?”

論文によると、AIによる環境負荷はまだ十分に調べられていません。また、大手クラウド（AWS, Google Cloud, Azureなど）の電力使用量が増加していることは分かっていますが、AIがどれほど関係しているのかは明確になっていません。
そして、トレーニングの環境負荷はよく調べられるものの、推論（タスク実行）の環境負荷はあまり注目されていません。

そこで研究者らはモデルの推論（タスク実行）時における環境負荷を大規模に調査分析しました。

■研究デザイン
① モデルのタスクを以下の5つに大まかに分類
テキスト分類／画像分類／質問応答
画像キャプショニング／画像生成
② 各タスクで最もDLされた上位3データセットを特定
③ 合計88のモデルをサンプリング
（タスク特化モデルと汎用モデルの両方を含む）
④ 各モデルで1000回ずつ推論を実行し統計

■分析結果
① タスク特化モデルよりも、汎用モデルのエネルギー消費とCO2排出量が著しく高い
② 生成タスクは、分類タスクに比べてエネルギー消費が高い
③ モデルサイズよりもタスクの種類がよりCO2排出量に影響を与える
④ テキストから画像を生成するタスクが特にエネルギー消費とCO2排出量が高い

■注目すべきデータ
① タスク別のエネルギー消費比較
テキスト生成：画像生成：テキスト分類：画像分類
=0.042：1.35：0.0023：0.0068
② 画像生成モデルの1000回推論時のCO2排出量は、平均的なガソリン車が4.1マイル走行した際の排出量に相当
③ テキスト生成モデルは、1000回の推論で0.0006マイル走行した際の排出量に相当

まとめるとモデルのサイズとタスクの性質がエネルギー効率に大きく影響すると結論づけられています。
研究者らは、モデル開発時には、このような調査結果を参照するとエネルギー消費と排出量を考慮することができると述べています。

ただしトレーニングフェーズにおける環境負荷は別途考慮すべきとのことです。