AIのパイオニアが警告: 今日のAIハードウェア焦点は誤っている

FacebookのチーフAIサイエンティスト、Yann LeCun氏がNeurIPS基調講演で、エキゾチックなハードウェアへの注力は誤りだと警告しました。ニューラルネットワーク向け専用チップの進化を概観し、Facebookの現在の取り組みを共有し、ディープラーニングハードウェアへの予測を提示しました。

古の歴史

1980年代からAIの先駆的人物であるLeCun氏は、Bell Labs在籍中に専用ニューラルネットワークプロセッサを開発した最初の科学者の1人でした。行列乗算を実行する抵抗アレイで構築されたそれら初期デバイスは、後の進歩の基盤となりました。

1990年代後半から2000年代初頭にかけてニューラルネットワークが不遇の時代を迎える中、LeCun氏はこの分野を生かし続けた数少ない科学者の1人でした。基調講演では、その時代に学んだハードウェアの教訓を振り返りました。

FacebookチーフAIサイエンティスト Yann LeCun

第一に、ツールが重要です。90年代には、LeCun氏を含むわずかな研究者しか、ニューラルネットワークを訓練できるソフトウェアを持っていませんでした。チームは、ハイレベルコードを効率的な訓練ルーチンに変換する柔軟なレイヤー——今でいうディープラーニングフレームワーク——を構築するために数年を費やしました。このブレークスルーが、モデルが微分可能なモジュールから組み立てられ、自動微分可能なTensorFlowやPyTorchなどの現代フレームワークの基盤を築きました。

適切なツールがLeCun氏のチームに「スーパーパワー」を与え、再現可能な研究を可能にしました。確固たる結果は再現可能でなければならず、そうでなければコミュニティは懐疑的であると強調。

ハードウェア性能も同様に重要。LeCun氏は、研究用ハードウェアの能力が研究アジェンダを形作ると指摘。「放棄されるアイデアは、利用可能なハードウェアが不十分なためにそうなることが多い」と語ります。「研究の野心とハードウェアの現実のミスマッチが、有望な方向性を脱線させる可能性があります。」

LeCun氏は、既存のコンピューティングエコシステムと統合できないエキゾチックな製造手法の追求を警告。

また、今日のアクセラレータの主要なミスマッチを指摘: ほとんどが行列乗算向けに最適化されているが、現代の画像・音声処理ネットワークの核心演算は畳み込みである。「支配的なアプローチは、電力需要が増大するにつれてますますミスアラインされていく」と警告。「サイクルの95%が畳み込みに費やされるなら、ハードウェアは根本的にサブオプティマルです。」

キラーアプリ

将来を見据え、LeCun氏は畳み込みニューラルネットワークがおもちゃから掃除機、医療機器まで日常デバイスに浸透すると予測。しかし、コンシューマーデバイスでのAI価値を解き放つ単一の「キラーアプリ」は、拡張現実（AR）ヘッドセットだと見ています。

FacebookはARグラス向けハードウェアを積極的に開発中。課題は低レイテンシ、バッテリー駆動コンピュテーションの提供。「ユーザーが動くと、仮想オブジェクトはヘッドセットではなく世界に固定されなければならない」とLeCun氏は説明し、リアルタイムトラッキングの必要性を強調。

Facebookは、音声コマンドとジェスチャーベースのハンドトラッキングに応答するARグラスを構想。これらの能力は今日存在するが、電力、性能、フォームファクターの点で不十分。LeCun氏はいくつかの実用的なトリックでギャップを埋めることを提案。

例えば、同じニューラルネットワークがビデオの全フレームを処理する場合——物体検出など——フレームごとの不正確さは、フレーム間の時間的一貫性で強制できるため許容可能。これにより、時折ビットフリップが発生する超低消費電力・不完全ハードウェアの使用が可能になり、電源電圧を下げることで達成できます。

ニューラルネットの発展

ニューラルネットワークアーキテクチャの急速な進化がハードウェア設計の課題を提示。多くのNLPモデルのような、逐次パターンを学習する動的ネットワークは、ランタイムグラフ最適化を必要とし、バッチ処理に苦労します。LeCun氏は、既存ハードウェアの多くがバッチサイズ>1を前提としており、研究者をモデルの最適設定より大きいバッチ処理に強いると指摘。

ハードウェアコミュニティに対し、バッチサイズ1で推論と学習の両方で優れた性能を発揮するアーキテクチャの構築を要請。理想的なバッチサイズは学習でもしばしば1であるため。

自己教師あり学習

LeCun氏は、学習パラダイムが劇的にシフトすると警告。人間と動物は、明示的なラベルや強化信号ではなく、観察を通じて学習します——これを自己教師あり学習と呼びます。このアプローチは現在、TransformerベースNLPで標準的で、入力データのマスク部分を予測するようモデルを訓練します。

自己教師あり学習は高効果ですが、メモリ要件を増大させます。現在最大のTransformerモデルは最大50億パラメータを含み、単一GPUに収まらず、モデル分割が必要です。

「自己教師あり学習が未来だ」とLeCun氏は断言。「莫大なメモリと計算リソースを要求し、大量のラベルなしデータでますます大きなモデルを訓練するにつれ、ハードウェア競争は激化するでしょう。」

ハードウェアトレンド

LeCun氏は、アナログコンピューティング、スピントロニクス、光システムなどの新興ハードウェア概念に注目。新規ハードウェアと主流システム間の信号変換——通信ボトルネック——が主要な障害だと指摘。アナログ設計はスパース活性化でエネルギー消費を削減するが、スパース性の持続可能性は不透明。

スパイキングニューラルネットワークやニューロモルフィックチップのような未来的アプローチには懐疑的。「チップを作る前に、アルゴリズムが自分自身を証明しなければならない」と同氏。「アルゴリズムの成熟に先立ってハードウェア設計を推進するのはリスキーです。」

ニューラルネットワーク処理のタイムライン

1980年代後半: 抵抗アレイで行列乗算を実行。1980年代後半までにアンプとコンバーターが周囲に追加されるが、今日の基準では依然として原始的。制限はチップへのデータ供給速度。
1991年: 畳み込みニューラルネットワーク（CNN）向けに設計された初のチップが構築。バイナリデータで320 GOPS（ギガ演算/秒）達成、デジタルシフトレジスタが畳み込みに必要な外部トラフィックを最小化し高速化。学術界を超えて使用されず。
1992年: ANNA、アナログニューラルネットワークALUチップがデビュー。6ビット重みと3ビット活性化のCNN向け設計、0.9µm CMOSで18万トランジスタ。手書き文字光学認識に使用。
1996年: DIANA、ANNAのデジタル版がリリース。だが1990年代半ばまでにニューラルネットワークが不遇となり、DIANAは最終的に携帯電話塔の信号処理に転用。
2009-2010年: 研究者らがFPGA（Xilinx Virtex 6）上でハードウェアニューラルネットワークアクセラレータを実証。自動運転向けセマンティックセグメンテーションデモを実行、約0.5 Wで150 GOPS達成。Purdue大学チームがこれをベースにASIC化を試みるも失敗。（出典: Yann Le Cun/Facebook）