エッジAIを支えるメモリ技術：課題と機会

エッジAIはメモリの在り方を再定義しています。AIワークロードがクラウドからユーザーに近いデバイスへ移行する中、メモリシステムには大容量、高帯域幅、低レイテンシ、エネルギー効率が求められ、同時にコスト効率と信頼性も必要とされます。

単一の「エッジAI」仕様は存在しません。この用語は、エンタープライズデータセンターから自律走行車、スマートシティインフラ、IoTエンドポイントまで、中央クラウド外のあらゆるAI対応エレクトロニクスを広くカバーします。

典型的なエッジシナリオには、自動運転車のコンピュータビジョン、製造ゲートでのAI推論による製品欠陥検出、電柱上の5Gエッジボックスによる交通監視、Snapchatフィルターや音声アシスタントを適用する携帯電話などがあります。

メモリの役割はこれらのアプリケーションで共通です：ニューラルネットワークの重み、モデルコード、入力データ、中間活性化の格納。課題は、各展開の固有制約を満たしながら、容量、帯域幅、電力、コストのバランスを取ることにあります。

エッジデータセンター

エッジデータセンターは、医療画像、高頻度金融、自律走行車制御など、レイテンシクリティカルなドメインにサービスを提供。従来のサーバーと同じメモリファミリ（高性能DRAM、大容量RDIMM、NVDIMMなどの不揮発性オプション）を使用します。

「低レイテンシDRAMはAIモデルのトレーニングと開発に不可欠です」と、Smart Modular Technologiesのソリューションアーキテクト、Pekon Gupta氏。「大規模データセットには高容量RDIMMやLRDIMMが必要で、NVDIMMはキャッシュやチェックポイントなど書き込み集約型ワークロードを高速化します。」

Pekon Gupta氏

通信キャリアも同様の道を辿り、エッジサーバーにメモリとコンピュートを追加。Gupta氏は、DRAMとフラッシュの橋渡しをする3D XPoint不揮発性メモリ「Intel Optane」を、持続性と大容量を活かせるAIワークロードの魅力的な選択肢として挙げます。

「Optane DIMMとNVDIMMは異なる目的を持ちます：Optaneはインメモリデータベースと大規模持続性AIデータセットで優れ、NVDIMMは低レイテンシ階層化とキャッシングを提供します」とGupta氏。

IntelのKristie Mann氏によると、OptaneはすでにEコマース推薦エンジン、動画パーソナライゼーション、リアルタイム金融分析を支えています。デュアルXeon ScalableプロセッサとOptane持続性メモリ搭載サーバーは、最大6TBの使用可能メモリをホスト可能で、オールDRAM構成のコスト効率の良い代替となります。

IntelのKristie Mann氏

Intel Optane 200シリーズモジュール。IntelによるとOptaneはすでにAIアプリケーションを駆動しています。（出典：Intel）

GPUアクセラレーション

高性能エッジデータセンターでは、GPUがAIコンピュートを牽引。メモリ選択肢には、高帯域幅GPU向けに設計されたGDDRと、複数のメモリダイをGPUパッケージ上に直接配置したダイスタックソリューションのHBM（高帯域幅メモリ）があります。

HBM2Eはレーンあたり最大3.6Gbpsを実現し、スタックあたり460GB/sの帯域幅に相当。2スタックで約1TB/sに接近。この性能と低消費電力の組み合わせにより、HBMはNvidiaデータセンターGPUのメモリとして選ばれています。

一方GDDR6は、レーンあたり18Gbpsと72GB/s帯域幅を提供。4チップでほぼ300GB/sに達し、エッジ推論ワークロードのスイートスポットとなっています。RambusのIPコア製品マーケティングシニアディレクター、Frank Ferro氏は、LPDDRがエンドポイント推論にはコスト効率が良いものの、現代AIモデルの帯域幅要求には対応できず、設計者をGDDR6へ押しやっていると指摘します。

RambusのFrank Ferro氏

Achronix Speedster7t FPGAなどの他のアクセラレータもGDDR帯域幅を活用し、HBMとGDDRの両方がエッジAIで役割を持つことを証明しています。

ファーエッジ

最も遠いエッジ（携帯電話、ウェアラブル、センサーノード）では、AIは主に推論です。Syntiantの音声制御チップやGyrfalconのカメラエフェクトアクセラレータのようなデバイスは、アナログコンピュート技術を用い、行列乗算をメモリセルに直接埋め込みます。

MythicのフラッグシップIPは、フラッシュメモリトランジスタを可変抵抗として利用し、8ビット乗算累積演算を実行。驚異的な密度とエネルギー効率を達成します。ノイズキャンセレーション較正により、アナログ変動にもかかわらず信頼性の高い8ビット推論を実現。

Mythicはフラッシュメモリトランジスタのアレイで高密度乗算累積エンジンを構築（出典：Mythic）

超低消費電力推論向けに調整されたASICは、分散SRAM、バルクSRAM、オフチップDRAMを組み合わせます。Flex LogixのGeoff Tate氏によると、InferX X1は単一x32 LPDDR4 DRAMと10MB SRAMで933MHz動作時7.5TOPSを達成し、速度、面積、コストのバランスを取っています。

メモリエコノミクスが進化する中、LPDDRは帯域幅、シンプルさ、最小シリコンフットプリントにより、エッジ推論の主要な選択肢であり続けるでしょう。

新興メモリ

既存技術を超えて、いくつかの不揮発性メモリがAI向けの新機能を提供します。

MRAM（磁気抵抗RAM）は磁石の向きでビットを格納し、制御された確率的挙動による低電圧動作を可能にします。このランダム性は、高ビットエラー率を許容しながら精度を維持する二値化ニューラルネットワーク（BNN）で活用可能。Spin MemoryのAndy Walker氏は、MRAMが極限精度を要求しないエッジAIタスクで性能を維持しつつ消費電力を大幅削減できると指摘します。

Spin MemoryのAndy Walker氏

MRAMの不揮発性は、組み込みフラッシュとSRAMの両方を置き換える統合メモリアーキテクチャへの扉を開き、ダイ面積と静的電力を削減します。

ニューロモーフィックReRAM

抵抗変化型RAM（ReRAM）はシナプス可塑性を導入し、その場で学習するニューロモーフィックシステムを可能にします。Politecnico MilanoとWeebit Nanoの共同研究で、ReRAMの教師なし学習の可能性が実証され、エッジデバイスがスクラッチからの再トレーニングなしで環境変化に適応できることが示されました。

まとめると、メモリ技術はエッジAIの要求に応えるべく急速に進化しています。GDDR、HBM、Optaneなどの確立されたメモリがデータセンターエッジを支配し続ける一方、LPDDRとオンチップSRAMがファーエッジで主役です。MRAMやReRAMのような新興不揮発性メモリは、前例のないエネルギー効率と適応能力を提供し、次世代AI対応デバイスを形作るでしょう。

── この記事は姉妹サイトEE Timesで最初に公開されました。