大規模ニューラルネットワーク訓練のCO₂排出量は自動車5台分の生涯排出量に相当

AI分野の最近の進歩により、大量データで訓練される大規模ネットワークの新時代が到来しました。これらのネットワークは、基本的な自然言語処理（NLP）タスク全般で劇的な精度向上を達成しています。

特にリソースを大量に消費するモデルほど最高スコアを記録しますが、こうしたモデルの訓練には膨大な計算リソースが必要で、多大なエネルギーを要します。

マサチューセッツ大学アマースト校の研究者たちが、大規模ニューラルネットワーク訓練のライフサイクル評価を行い、AIモデルからの二酸化炭素排出量を論文で公表しました。

10年前はNLPモデルを従来のサーバーやノートPCで開発・訓練できましたが、今は違います。今日、高精度モデルにはTPU（テンソル処理ユニット）やGPUの複数インスタンスが必要。モデルアーキテクチャとハイパーパラメータの研究・実験がハードウェアコストをさらに押し上げています。

こうしたハードウェアを数週間稼働させると環境に多大な影響を与えます。このエネルギーの一部は再生可能エネルギー由来ですが、現在の発電・蓄電技術では限られています。実際、ほとんどの場所でカーボンニュートラルなエネルギー供給施設は十分ではありません。

NLPモデル訓練からの炭素排出

この研究では、大規模ニューラルネットワーク訓練による炭素排出量とコストを特徴づけました。人気NLPモデルの開発・調整に必要なキロワットエネルギーを推定し、概算電気代と炭素排出量に換算しました。

NLPモデルからの推定CO₂排出量 vs 他の身近な消費

結果、大規模NLPパイプラインの開発・最適化で284,000kgの二酸化炭素を排出する可能性があり、これは平均的な自動車の生涯排出量（製造プロセス含む）の5倍に相当します。

Reference: arXiv:1906.02243

財務的・環境的コストはAIモデルサイズに比例して増大しますが、モデル精度向上のための調整機能を追加すると、コストが爆発的に増加します。

特に、調整機能（ニューラルアーキテクチャ探索とも呼ばれる）—集中的な試行錯誤でネットワーク設計を反復的に調整する—は、わずかな性能向上のために極めて高いコストを生じさせます。

AI分野の継続的トレンドを考慮すると、この研究の意義は大きいです。多くのAI研究施設は効率を軽視していますが、大量データで訓練されたネットワークモデルが様々なタスクで有用であることが分かっています。

計算効率の良いアルゴリズムは存在しますが、TensorFlowやPyTorchなど一般的な深層学習フレームワークとの非互換性のため、NLPモデル最適化にはほとんど使用されていません。

研究者たちによれば、この種の研究を実施し、リソースの大量使用への認識を高め、慎重な実践と政策を促進すべきです。

産業技術