大規模なニューラルネットワークをトレーニングすると、284,000キログラムのCO2を排出できます

• 大規模なニューラルネットワークの開発と最適化により、284,000キログラムもの二酸化炭素が排出される可能性があります。
• これは、平均的な自動車の生涯排出量の5倍に相当します。

人工知能（AI）の分野における最近の進歩は、大規模なデータでトレーニングされた大規模ネットワークの新時代の到来を告げています。これらのネットワークでは、いくつかの基本的な自然言語処理（NLP）タスク全体で精度が大幅に向上しています。

特に、最もリソースを消費するモデルは、最高のスコアを達成しています。ただし、このようなモデルのトレーニングには大量の計算リソースが必要であり、かなりのエネルギーが必要です。

最近、マサチューセッツ大学アマースト校の研究者が、大きなニューラルネットワークをトレーニングするためのライフサイクルアセスメントを実行することにより、AIモデルからの二酸化炭素排出量について説明した論文を発表しました。

10年前は、NLPモデルを従来のサーバーまたはラップトップで開発およびトレーニングできましたが、現在はそうではありません。現在、高精度のモデルには、TPU（テンソルプロセッシングユニット）またはGPUの複数のインスタンスが必要です。モデルアーキテクチャとハイパーパラメータを使用した調査と実験により、ハードウェアのコストがさらに上昇しました。

このようなハードウェアに数週間電力を供給すると、環境に大きな影響を与えます。このエネルギーの一部は再生可能エネルギー源から来ていますが、それは私たちが現在それを生成して貯蔵しなければならない技術に限定されています。実際、ほとんどの場所には、カーボンニュートラルなエネルギー源からエネルギーを引き出すのに十分な設備があります。

NLPモデルのトレーニングによる炭素排出量

この研究では、研究者は大規模なニューラルネットワークのトレーニングから生じる炭素排出量とコストを特徴づけました。彼らは、人気のあるNLPモデルを開発および調整するために必要なエネルギーのキロワット数を推定しました。次に、それをおおよその電力コストと炭素排出量に変換しました。

NLPモデルからの推定CO2排出量とその他の一般的な消費量

調査結果は、大規模なNLPパイプラインの開発と最適化により、284,000キログラムの二酸化炭素が排出される可能性があることを示しています。これは、平均的な自動車（製造プロセスを含む）の生涯排出量の5倍に相当します。

参照：arXiv：1906.02243

経済的コストと環境コストの両方が、AIモデルのサイズに比例して増加します。ただし、モデルの精度をさらに向上させるために調整関数を追加すると、関連するコストが急増します。

具体的には、チューニング機能（ニューラルアーキテクチャ検索とも呼ばれます）は、集中的な試行錯誤によってネットワークの設計を繰り返し調整するため、パフォーマンスをほとんど向上させることなく、非常に高いコストが発生します。

AI分野の現在の傾向を考えると、この研究の重要性は非常に大きいです。豊富なデータでトレーニングされたネットワークモデルがさまざまなタスクで役立つことがわかっているため、多くのAI研究施設は効率を無視しています。

読む：人工葉は大気中の二酸化炭素を減らすことができる

計算効率の高いアルゴリズムは存在しますが、TensorFlowやPyTorchなどの最も一般的な深層学習フレームワークとの互換性がないため、NLPモデルを最適化するために実際に使用されることはほとんどありません。

研究者によると、この種の研究は、資源の広範な使用についての意識を高め、注意深い実践と政策を促進するために実施されるべきである。