IntelはLoihi2ニューロモルフィックチップとソフトウェアフレームワークを提供しています

Intelは、第2世代のニューロモルフィックコンピューティングチップであるLoihi 2を発表しました。これは、Intel4プロセステクノロジに基づいて構築された最初のチップです。最先端のニューロモルフィックニューラルネットワークの研究用に設計されたLoihi2は、さまざまな改善をもたらします。これらには、より多くのプログラム可能性を提供するニューロン用の新しい命令セットが含まれており、スパイクが1と0を超える整数値を持つことができ、より大規模なシステム用にチップの3次元メッシュにスケーリングする機能があります。

チップメーカーはまた、神経に触発されたアプリケーションを開発するためのオープンソースソフトウェアフレームワークであるLavaを発表しました。 Intelは、Lavaの開発にニューロモルフィック研究者を関与させることを望んでいます。これにより、稼働中に研究チームがお互いの作業を強化できるようになります。

Loihiは、脳に触発されたスパイキングニューラルネットワーク（SNN）用に設計されたニューロモルフィックハードウェアのIntelバージョンです。 SNNは、入力スパイクのタイミングが情報をエンコードするイベントベースのコンピューティングで使用されます。一般に、早く到着するスパイクは、後で到着するスパイクよりも計算効果が高くなります。

IntelのLoihi2第2世代ニューロモルフィックプロセッサ。 （出典：Intel）

ニューロモルフィックハードウェアと標準CPUの主な違いは、メモリのきめ細かい分散です。つまり、ロイヒのメモリは個々のコアに埋め込まれています。 Loihiのスパイクはタイミングに依存しているため、アーキテクチャは非同期です。

「ニューロモルフィックコンピューティングでは、これらの動的要素間の相互作用を通じて計算が生まれています」と、インテルのニューロモルフィックコンピューティングラボのディレクターであるマイクデイビスは説明します。 「この場合、受信した入力にオンラインで適応するというこの動的な特性を持つニューロンであり、プログラマーは、チップが答えに到達するために通過するステップの正確な軌道を知らない可能性があります。

「それはその状態を自己組織化する動的なプロセスを経て、いくつかの新しい状態に落ち着きます。私たちがそれを呼んでいるその最後の固定点、または平衡状態は、あなたが解決したい問題への答えをコード化しているものです」とデイビスは付け加えました。 「つまり、他のアーキテクチャでのコンピューティングについて考える方法とは根本的に異なります。」

第一世代のロイヒチップは、これまでさまざまな研究アプリケーションで実証されてきました。これには、モーションがシステムの変化に適応し、アームの摩擦と摩耗を低減する適応型ロボットアーム制御が含まれます。 Loihiは、制御アルゴリズムを適応させてエラーや予測できない動作を補正し、ロボットが目的の精度で動作できるようにします。ロイヒは、さまざまな匂いを認識するシステムでも使用されています。このシナリオでは、ディープラーニングベースの同等のものよりもはるかに効率的に新しい匂いを学習して検出できます。ドイツ鉄道とのプロジェクトでも、列車のスケジューリングにロイヒが使用されました。システムは、線路の閉鎖や列車の停車などの変化に迅速に対応しました。

第2世代の機能

インテル4プロセスの試作バージョンに基づいて構築されたLoihi2は、エネルギー効率を損なうことなく、プログラマビリティとパフォーマンスを向上させることを目的としています。前任者と同様に、通常は約100 mW（最大1 W）を消費します。

リソース密度の増加は、最も重要な変更の1つです。チップにはまだ128コアが組み込まれていますが、ニューロン数は8倍に跳ね上がります。

「単一のチップでより多くのストレージ、ニューロン、シナプスを利用できるようにすることは、商業的実行可能性にとって不可欠です…そして、顧客のアプリケーションにとって意味のある方法でそれらを商業化することです」とデイビス氏は述べています。

クリックしてフルサイズの画像を表示

Loihi2の機能。 （出典：Intel）

Loihi 1では、ワークロードが最適でない方法でアーキテクチャにマッピングされることがよくありました。たとえば、空きメモリがまだ利用可能なときにニューロン数が最大になることがよくあります。 Loihi 2のメモリ量は合計で同じですが、より柔軟なメモリバンクに分割されています。大規模なモデルに必要なメモリの量を最小限に抑えるために、ネットワークパラメータに追加の圧縮が追加されました。これにより、ニューロンに再割り当てできるメモリが解放されます。

結果として、Loihi 2は同じ量のメモリでより大きな問題に取り組むことができ、1ミリメートルあたりのニューラルネットワーク容量が約15倍に増加します ² チップ面積の削減–新しいプロセス技術によってダイ面積が全体的に半分になることを念頭に置いてください。

ニューロンのプログラマビリティ

プログラマビリティは、もう1つの重要なアーキテクチャの変更です。以前は固定機能でしたが、Loihi 1で機能していたニューロンは、Loihi 2で完全な命令セットを取得します。この命令セットには、一般的な算術、比較、およびプログラム制御フロー命令が含まれています。このレベルのプログラム可能性により、さまざまなSNNタイプをより効率的に実行できます。

「これは、ほぼ任意のニューロンモデルをプログラムできるようにする一種のマイクロコードです」とDavies氏は述べています。 「これはロイヒの限界をカバーしています[1]。一般的に、ロイヒの当初に期待していたものではない、さらに複雑で豊富なニューロンモデルを使用することで、より多くのアプリケーションの価値を引き出すことができます。しかし今では、パートナーが調査しようとしているニューロンモデルの全範囲と、計算論的神経科学の領域が提案し、特徴づけているものを実際に網羅することができます。」

Loihi 2ダイは、Intel4プロセステクノロジーの試作バージョンで製造された最初のダイです。 （出典：Intel）

Loihi 2の場合、スパイクの概念も一般化されています。 Loihi 1は、スパイクに大きさがない生物学で見られるものを反映するために、厳密なバイナリスパイクを採用しました。すべての情報はスパイクタイミングで表され、前のスパイクは後のスパイクよりも計算効果が高くなります。 Loihi 2では、スパイクはプログラム可能なニューロンモデルで利用可能な構成可能な整数ペイロードを運びます。生物学的頭脳はこれを行いませんが、Davies氏は、パフォーマンスを損なうことなくIntelがシリコンアーキテクチャに追加するのは比較的簡単であると述べました。

「これは、厳密な生物学的忠実度から逸脱している例です。特に、その重要性、つまり時間コーディングの側面を理解しているためです」と彼は言いました。 「しかし、このスパイクと一緒に送信できるこの余分な規模があれば、より良い結果が得られ、より少ないリソースで同じ問題を解決できることに気づきました。」

一般化されたイベントベースのメッセージングは​​、Sigma-deltaニューラルネットワーク（SDNN）と呼ばれるディープニューラルネットワークをLoihi 2がサポートするための鍵です。これは、Loihi 1で使用されるタイミングアプローチよりもはるかに高速です。SDNNは、同じ方法で段階的アクティベーション値を計算します。従来のDNNはそれを行いますが、重要な変更はまばらでイベント駆動型の方法で発生するため、伝達するだけです。

3Dスケーリング

Loihi 2は、回路レベルで前モデルよりも最大10倍高速に請求されます。機能の改善と組み合わせることで、設計は最大10倍の速度向上を実現できるとデイビス氏は主張しました。 Loihi 2は、200ns未満のチップ全体の最小タイムステップをサポートします。また、生物学的ニューロンよりも最大5,000倍高速にニューロモルフィックネットワークを処理できます。

新しいチップは、Intelがニューラルネットワークを3次元に拡張できるようにするスケーラビリティポートも備えています。大規模なニューラルネットワークを実行するための外部メモリがない場合、Loihi 1には複数のデバイスが必要でした（Intelの768-Loihiチップシステム、Pohoiki Springsなど）。 Loihi 1チップの平面メッシュはLoihi2では3Dメッシュになります。一方、チップ間の帯域幅は4倍に改善され、圧縮と新しいプロトコルにより、チップ間で送信される冗長スパイクトラフィックの10分の1が提供されます。デイビス氏によると、ほとんどのワークロードで合計容量の増加は約60倍であり、チップ間リンクによって引き起こされるボトルネックを回避できます。

また、最先端のニューロモルフィックアルゴリズム研究で人気のある3因子学習もサポートされています。 3番目の要素を特定のシナプスにマッピングする同じ変更を使用して、深層学習で使用されるトレーニング方法であるバックプロパゲーションを概算できます。これにより、ロイヒを介した新しい学習方法が生まれます。

Loihi 2は、エッジアプリケーションを開発するためのシングルチップボードとして研究者に提供されます（OheoGulch）。また、より要求の厳しいアプリケーションに合わせて拡張することを目的とした8チップボードとしても提供されます。 （出典：Intel）

溶岩

Lavaソフトウェアフレームワークは、Loihiの機能強化を完成させます。オープンソースプロジェクトは、ニューロモルフィック研究コミュニティで利用できます。

「ソフトウェアは引き続きこの分野を抑制している」とデイビス氏は語った。 「過去数年間、ハードウェアと同じペースではなく、大きな進歩はありませんでした。また、TensorFlowとPyTorchが大きな勢いとユーザーベースを集めているディープラーニングの世界で見られたように、単一のソフトウェアフレームワークの出現はありませんでした。」

IntelにはLoihi向けに実証されたアプリケーションのポートフォリオがありますが、開発チーム間でのコード共有は制限されています。そのため、開発者は他の場所で行われた進歩に基づいて構築することが難しくなります。

製品ではなく新しいプロジェクトとして宣伝されたDavies氏は、Lavaは、さまざまなアルゴリズムに取り組んでいるLoihiの研究者をサポートするフレームワークを構築する方法として意図されていると述べました。 Lavaはイベントベースの非同期メッセージパッシングを目的としていますが、異種の実行もサポートします。これにより、研究者は最初にCPUで実行されるアプリケーションを開発できます。 Loihiハードウェアにアクセスすることで、研究者はワークロードの一部をニューロモルフィックチップにマッピングできます。このアプローチが参入障壁を下げるのに役立つことを願っています。

「ニューロモルフィックテクノロジーの商業化に必要となるこのより大きな目標に向けて、ここで収束と共同開発の必要性を感じています」とデイビス氏は述べています。

Loihi 2は、高度なニューロモルフィックアルゴリズムを開発する研究者によって使用されます。ラボテスト用のシングルチップシステムであるOheoGulchが最初に研究者に利用可能になり、次にKapohoBayの8チップLoihi2バージョンであるKapohoPointが利用可能になります。 Kapoho Pointには、より多くの計算能力を必要とするロボット工学などのアプリケーション用にボードを積み重ねることができるように設計されたイーサネットインターフェイスが含まれています。

溶岩はGitHubからダウンロードできます。

>>この記事は、もともと姉妹サイトEEで公開されました。タイムズ。

---

>

関連コンテンツ：

• AIコンピューティング用のニューロモルフィックチップを主張する
• スパイキングニューラルネットワークはArmチップをターゲットにします
• 新しいメモリテクノロジーに基づいて構築する高度なAIチップ
• スパイキングニューラルネットワーク用のニューロモルフィックAIチップがデビュー
• ニューロモルフィックコンピューティングのベンチマークの難問

Embeddedの詳細については、Embeddedの週刊メールニュースレターを購読してください。