AIハードウェアの現在の焦点は誤った方向に進んでいるとAIのパイオニアは言います

「エキゾチックなハードウェアで成功するのは本当に難しいです」とFacebookのチーフAIサイエンティストであるヤンルカンはNeurIPSでの基調講演で聴衆に語りました。 Le Cunは、12月にカナダのバンクーバーで開催されたAI専門家の世界的な集まりに対応し、ニューラルネットワークワークロードを処理するための特殊なコンピューティングチップの歴史を調査し、Facebookが取り組んでいることを垣間見せ、ディープラーニングの将来についていくつかの予測を行いました。学習ハードウェア。

古代史

Le Cunは、AIの分野で有名な先見の明があり、1980年代と1990年代にニューラルネットワーク研究の最前線に立ってきました。 1980年代後半にベル研究所の研究者として、彼は抵抗器アレイを含み、行列の乗算を実行するために使用された、最も初期のタイプの専用ニューラルネットワークプロセッサを使用していました。 1990年代後半から2000年代初頭にニューラルネットワークが普及しなくなったため、ルカンはこの分野で働き続けた数少ない科学者の1人でした。基調講演で、彼はその間にディープラーニングのためのハードウェアについて学んだことのいくつかを共有しました。

FacebookのチーフAIサイエンティストYannLe Cun

まず、ツールは本当に重要です。 90年代にニューラルネットを（一時的に）殺したのは、ルカンを含む少数の人々だけがそれらを訓練するためのツールを持っていたということでした。 Le Cunと彼の同僚は、現在ディープラーニングフレームワークと呼ばれるものの構築に多くの時間を費やしました。これは、フロントエンド言語を解釈する柔軟なソフトウェアであり、研究者はニューラルネットワークのトレーニングと実験を行うことができます。研究者の研究は、深層学習システムを微分可能なモジュールから組み立てて、自動的に微分できるという概念を発展させました。当時は斬新でしたが、これは現在では一般的な方法です。

適切なツールは、Le Cunのチームにその「超大国」を与え、再現性のある結果を生み出すための重要な要素でもあったと彼は言いました。 「良い結果は十分ではありません…たとえあなたが良い結果を得たとしても、人々はまだ懐疑的です」と彼は言いました。 「これらの結果を再現可能にすることは、最初に実際に結果を生成することとほぼ同じくらい重要です。」

Le Cun氏によると、適切なツールに加えて、ハードウェアの制限が研究の方向性全体に影響を与える可能性があるため、ハードウェアのパフォーマンスは研究コミュニティにとって非常に重要です。

「[何]ハードウェアコミュニティが研究やトレーニングのために構築するものは、実際に人々が考えるアイデアに影響を与えます」と彼は言いました。 「優れたアイデアであったとしても、ハードウェアが十分に強力ではないという理由だけで、アイデア全体を放棄することができます。」

答えは、新しい新しい形式のコンピューティングにあるのではないかもしれないと彼は言い、既存のコンピューティング環境に適合しなかった場合、多くのエキゾチックな製造技術が普及しなかったと述べました。

AIアクセラレーションの今日のハードウェアソリューションに対するLeCunの不満の1つは、ほとんどが畳み込みではなく行列乗算用に構築されていることです。これは、今日のほとんどの画像処理および音声認識ニューラルネットワークで使用される主要な数学演算です。 「（一般的なアプローチは）ますます間違ったものになるでしょう。つまり、電力に対する要件はますます大きくなるでしょう」と彼は言いました。 「サイクルの95％が畳み込みの実行に費やされる一般的なハードウェアを構築する場合、私たちは良い仕事をしていません。」

キラーアプリ

Le Cunが説明したように、将来的には、おもちゃから掃除機、医療機器に至るまで、あらゆるもので畳み込みニューラルネットワーク（CNN）が使用されるようになるでしょう。しかし、キラーアプリ（消費者向けデバイスにAIの価値を証明する1つのアプリケーション）は、拡張現実ヘッドセットです。

Facebookは現在ARメガネのハードウェアに取り組んでいます。低レイテンシで必要な処理量がバッテリーのみで駆動されるため、これはハードウェアの大きな課題です。 「移動するとき、世界のオーバーレイされたオブジェクトは、あなたとではなく、世界と一緒に移動する必要があります。これには、かなりの計算が必要です」とLeCun氏は述べています。

Facebookは、音声で操作され、リアルタイムのハンドトラッキングを介してジェスチャーで対話するARメガネを想定しています。これらの機能は現在可能ですが、消費電力、パフォーマンス、およびフォームファクターの点で私たちが実行できる機能を超えています。 Le Cunは、役立ついくつかの「トリック」を指摘しました。

たとえば、ビデオのすべてのフレームで同じニューラルネットワークを実行する場合（おそらくオブジェクトを検出するため）、1つのフレームの結果が間違っていても問題ありません。これは、前後のフレームを調べて一貫性を確認できるためです。 。

「つまり、完璧ではない非常に低電力のハードウェアを使用することを想像できます。言い換えれば、たまにビットフリップを[許容]することができます」とLeCun氏は述べています。 「電源の電圧を下げることでこれを行うのは簡単です。」

ニューラルネットの開発

ニューラルネットワークの急速な進化は、ハードウェア設計の主要な課題です。たとえば、動的ネットワーク（シーケンシャルまたは時変パターンを学習するようにトレーニングできるメモリを備えたネットワーク）は、特に自然言語処理（NLP）で人気が高まっています。ただし、現在のハードウェアで行われている多くの仮定とは動作が異なります。計算グラフはコンパイル時に最適化できません。これは実行時に実行する必要があります。また、パフォーマンスを向上させるために複数のサンプルを一度に処理する一般的な手法であるバッチ処理を実装することもかなり困難です。

「私たちが自由に使える最も一般的なハードウェアはすべて、バッチ処理が可能であることを前提としています。複数のサンプルを含むバッチがある場合、畳み込みや完全に接続されたネットを含むすべての演算を行列乗算に変換できるからです」と述べています。 LeCun。 「[それは]バッチサイズ=1を使用してパフォーマンスを低下させないアーキテクチャを作成することはハードウェアコミュニティにとっての課題です。もちろん、これはトレーニングにも当てはまります。トレーニングに最適なバッチのサイズは1です。ハードウェアが強制するため、より多く使用します。」

自己管理学習

Le Cunによると、ハードウェアのもう1つの課題は、現在使用している学習パラダイムが変化し、これが間もなく発生することです。

「機械に人間や動物のようにもっと学習させようとする作業はたくさんあります。人間や動物は、教師あり学習や強化学習によっても学習しません」と彼は言いました。 「彼らは、私が自己監視学習と呼んでいるものによって学習します。これは主に観察によるものです。」

Le Cunは、サンプルの一部がマスクされ、利用可能なサンプルの部分に基づいてマスクされた部分の内容を予測するようにシステムがトレーニングされる、自己監視学習への一般的なアプローチについて説明しました。これは通常、画像の一部が削除された画像や、1つ以上の単語が空白になっているテキストで使用されます。これまでの作業は、NLPに特に効果的であることを示しています。使用されるネットワークのタイプである変圧器には、自己監視学習を使用するトレーニングフェーズがあります。

ハードウェアの観点からの問題は、NLPのトランスフォーマーネットワークが巨大になる可能性があることです。今日の最大のものは50億のパラメーターを持ち、急速に成長しているとLeCun氏は述べています。ネットワークは非常に大きいため、GPUメモリに収まらず、分割する必要があります。

「自己教師あり学習は未来です。それについては疑問の余地はありません」と彼は言いました。 「しかし、メモリ要件は絶対に巨大であるため、これはハードウェアコミュニティにとっての課題です。これらのシステムは、豊富なラベルのないデータでトレーニングされているため、データの観点から非常に大規模なネットワークをトレーニングできます。最終的なシステムのハードウェア要件は、現在よりもはるかに大きくなります。ハードウェアレースはすぐには止まりません。」

ハードウェアのトレンド

アナログコンピューティング、スピントロニクス、光学システムなどの技術を使用する新しいハードウェアのアイデアは、LeCunのレーダーにあります。彼は、通信の難しさ、つまり新しいハードウェアと必要なコンピューティングインフラストラクチャの残りの部分との間で信号を変換する際の問題を大きな欠点として挙げました。アナログの実装は、エネルギー消費の利点を得るためにアクティベーションを非常にまばらにすることに依存していると彼は言い、これが常に可能かどうか疑問に思いました。

Le Cunは、スパイキングニューラルネットワークや一般的なニューロモルフィックコンピューティングなどの未来的な新しいアプローチに「懐疑的」であると述べました。アルゴリズムがチップを構築する前に機能することを証明する必要があると彼は言いました。

「このようなシステムの設計をハードウェアで推進し、誰かがこのハードウェアを使用するアルゴリズムを思い付くようになることを期待するのは、おそらく良い考えではありません」とLeCun氏は述べています。

ニューラルネットワーク処理のタイムライン

1980年代後半 ：抵抗アレイは、行列の乗算を行うために使用されます。 1980年代後半までに、アレイはその周りに増幅器とコンバーターを獲得しましたが、今日の基準ではまだかなり原始的です。制限は、データをチップに送る速度です。
1991 ：畳み​​込みニューラルネットワーク（CNN）用に設計された最初のチップが構築されています。このチップは、バイナリデータで320ギガ操作/秒（GOPS）が可能であり、デジタルシフトレジスタにより、畳み込みの実行に必要な外部トラフィックの量が最小限に抑えられ、操作が高速化されます。チップは学界を超えて使用されることはありません。
1992 ：アナログニューラルネットワークALUチップANNAがデビュー。 6ビットの重みと3ビットのアクティベーションを備えたCNN用に設計されたANNAには、0.9μmのCMOSに180,000個のトランジスタが含まれています。手書きテキストの光学式文字認識に使用されます。
1996 ：ANNAのデジタル版DIANAをリリース。しかし、1990年代半ばまでにニューラルネットワークが普及しなくなったため、DIANAは最終的に携帯電話の塔での信号処理に再利用されました。
2009–2010 ：研究者は、FPGA（ザイリンクスVirtex 6）上のハードウェアニューラルネットワークアクセラレータをデモンストレーションします。自動運転のセマンティックセグメンテーションのデモを実行し、約0.5Wで150GOPSが可能です。パデュー大学のチームは、この作業に基づいてASICを作成しようとしましたが、プロジェクトは失敗しました。 （出典：Yann Le Cun / Facebook）