車の人工知能—脳の内部

自動運転車（AV）、または先進運転支援システム（ADAS）を搭載した車両でさえ、複数のカメラ、LIDAR、レーダー、場合によってはソナーなど、多くのセンサーからのデータに依存しています。この一連のセンサーからのデータストリームを処理することは、巨大であると同時に重要なタスクです。少なくとも完全な人間のドライバーが制御している場合と同様に、車を安全に運転するために使用するには、そのすべてのデータをリアルタイムで情報に変換する必要があります。 「道路上では、人間のドライバーは現在の環境に注意し、他のドライバーと対話し、決定を下す必要があります。人間のドライバーと同様に、AVも認識し、相互作用し、決定を下す必要があります。さらに、AVは乗客との良好な関係を構築する必要があります。」 ¹

これらの機能は、人工知能（AI）に依存して、さまざまなセンサーからのデータを吸収し、それらを組み合わせて、車両とその動的環境の瞬間的な画像を作成します。これは、センサーフュージョンと呼ばれるプロセスです。自動車での使用に最適なAIは、ディープニューラルネットワーク（DNN）を採用しています。 DNNは、人間の脳が情報を処理する方法をモデルにしており、プログラマーから何をすべきかを指示されるのではなく、経験から学ぶことで、運転の現実世界を横断する方法を学びます。 DNNは、複数の入力を受け入れ、それらに異なる重みを割り当て、推論を引き出すことによって機能します。これらすべてを「リアルタイム」で実行するには、非常に高性能でありながらエネルギー効率の高いコンピューティングプラットフォームが必要です。これは、処理アクセラレータを使用することで高速化できます。

AIを実行に移す

自動車用AIの高性能プラットフォームに何が入るのかを知るために、CEVA、Inc.のGil Abrahamに、それを実装するためのツールについてインタビューしました。

CEVAのビジョンおよびAIビジネスユニットには、アブラハムが3つの柱と呼んだものがあります。AIプロセッサであるNeuPro-M。高性能センサーハブデジタルシグナルプロセッサ（DSP）であるSensPro。およびCDNN-Inviteソフトウェア。 CDNN-Inviteを使用すると、メーカーは独自のDNNアクセラレータを入力して、CEVAのNeuPro-MAIプロセッサおよびSensProDSPと連携し、同じメモリおよびフローソフトウェア開発キットで一元管理できる1つの統合システムを楽しむことができます（ SDK）。

SensPro DSPは、複数のLIDAR、レーダー、カメラなど、さまざまなセンサーからの入力に対して信号処理を実行し、それらを畳み込むことができます。これは、センサーフュージョンと呼ばれるプロセスで、多くのセンサーの入力を収集します。各センサーには独自の制限があるため、これは自動車での使用にとって重要です。

例：

• カメラは非常に高い解像度を持つことができるため、細部を感知できます。ただし、通常、車両の死角、リアビュー、サラウンドビュー、および焦点距離の異なる複数の前面カメラをカバーするには、複数のカメラが必要です。各カメラは個別のデータストリームを提供します。また、カメラが夜間や太陽に面している場合、カメラがうまく機能することを信頼することはできません。

• レーダーは夜間にうまく機能し、距離測定を提供できます。ただし、オブジェクトの正確な位置を認識したり、互いに近接している複数のオブジェクトを区別したりするのに十分な解像度はありません。静止しているオブジェクトや動きの遅いオブジェクトを検出できない可能性があり、シーンの「セマンティクス」（オブジェクトの色と形状）を検出できない可能性があります。そのためにはカメラが必要です。

• Lidarは独自の光源として機能するため、暗闇でも日光でも十分に機能します。また、シーン内の複数のオブジェクトを追跡しながら、正確なリアルタイムの自由空間検出を行うのに十分な高解像度の迅速で正確な測定データを提供します。ただし、十分なLIDARデータポイントを確保するには、これらの高価なデバイスを5〜6台車両に搭載する必要があります。

SensPro DSPは、これらから入力を受け取ることができ、飛行時間（ToF）センサー、慣性測定ユニット（IMU）、同時ローカリゼーションおよびマッピング（SLAM）のアルゴリズムを効率的に処理し、それらすべてを使用して「コンテキストアウェアネス」を作成できます—自動車の状況とその環境の全体像。必要に応じて、ハードウェアに専用の命令セットを追加して、他の特定の処理をさらに高速化することもできます。

システムの統合

NeuPro-Mは、高速および低遅延のスケーラブルな操作、低動作電力、高セキュリティ、安全関連の電気/電子システムのISO 26262規格の機能要件を満たす機能など、自律型車両機能の主要な課題の多くに対応します。生産道路車両で。また、スケーラブルであるため、たとえば、単一のセンサー、ゾーン内のセンサーのクラスターに使用したり、自動車のエンジン制御ユニット（ECU）の一部として組み込んだりすることもできます。

高性能の自動車用AIプラットフォームのアーキテクチャ

CEVA NeuPro-M AIプロセッサの機能は、高レベルの運転決定を行うことです。これらの決定は、次のような状況情報を提供するDNN入力に基づいています。車線に留まっている自動車です。絶対位置（SLAM）とは何ですか？

NeuPro-M AIプロセッサは、受け取った情報を考慮して、実行するアクションに関する意思決定者です。 AIは意思決定を行うために膨大な数の計算を必要とし、これらはほぼリアルタイムで実行する必要があります。したがって、強力なプロセッサが必要です。自動車用途の場合、消費電力を最小限に抑える必要もあります。計算の数が増え、計算の実行時間が短くなると、消費電力が増加します。プロセッサのパフォーマンスの測定値は、1つの数値にまとめることができます。1ワットあたりの1秒あたりのテラ操作（TOPS /ワット）—数値が大きいほど、パフォーマンスが向上します。 NeuPro-Mの電力効率は24TOPS/ワットで、他のほとんどの自動車用AIプロセッサよりも大幅に高くなっています。

セキュリティは最も重要です。実際、セキュリティと安全性は自動車アプリケーションにとって最も重要な要件であると言えます。自動運転車のAIプロセッサが担当ドライバーです。 AI処理を実行するニューラルネットワークは、各入力に重みを割り当て、それらの重みは悪意のある改ざんに対して脆弱です。したがって、セキュリティシステムは、これらの攻撃から保護するためのプロセッサの不可欠な部分です。

パフォーマンスの最適化

パフォーマンスを最適化するには、プロセッサがどれほど高速であっても、プロセッサへの情報の移動に関する帯域幅の制限、主にメモリに関するシステムインターフェイスの制限のために、システムがボトルネックに陥る可能性があることを認識することが重要です。計算ユニットは、メモリに通知するために大量のデータを格納およびフェッチするのにかかる時間よりもはるかに高速に動作します。これに対処する1つの方法は、特定の計算を実行するのに十分な情報を待つのではなく、データの継続的なフローをプロセッサに向けることです。

パフォーマンスを最適化できるもう1つの方法は、アダプティブ、つまりモジュラーアダプティブトポロジを使用することです。プロセッサトポロジは、さまざまなタイプのセンサーを処理し、さまざまなタイプの操作を実行するために最適化できます。たとえば、1つの機能は、多くの数学を必要とする駆動列の効率を最適化することである場合もあれば、単一のセンサーを処理するだけの場合もあります。

何かを非常に正確に計算する必要がある場合は、ベクトルプロセッサ内で、固定小数点の代わりに浮動小数点演算を使用できます。帯域幅の削減に対処するもう1つの方法は、データを圧縮することです。これにより、システム内ですべてのデータを移動する必要がなくなります。これらはソフトウェアの修正ですが、DSPとAIプロセッサの最適化にも目を向ける必要があります。これには、これらの各領域のすべてのボトルネックに対処するための詳細な調査が必要です。

並列処理

NeuPro-M（NPM）プロセッサには、次の3つの部分があります（図2を参照）。 NPM共通サブシステム。そしてNPMエンジン。プロセッサには、特定のアプリケーションのニーズに合わせて選択できる1〜8個のエンジンを含めることができます。プロセッサの動作は、エンジンの数を選択することでスケーリングできます。 「それがあなたがますます馬力を得る方法です」とアブラハムは言いました。

NPM共通サブシステムは、NPMエンジンと常に通信しています。そのチャネルは、ボトルネックにならないように監視されます。つまり、データがシステムに流れ続けることを確認します。推論AIは、2つのデータセットで実行されます。データ自体、おそらく画像。推論を行うためにデータに適用される重み。共通サブシステムは、データと重みの両方に圧縮を適用することにより、チャネルを開いたままにします。

並列処理は、複数のエンジンを使用することと、エンジン内のコプロセッサーを使用することの両方で実装できます。各コプロセッサーには、5つのコプロセッサーと共有の内部メモリーが含まれています。

例—4エンジンNPMで車両を制御する

図3は、並列処理の単純な自動車アプリケーションを示しています。図の左側は、正面カメラで撮影された道路の画像を示しています。車両内のプロセッサは、反対側の車線をブロックして、車両を道路の側面の中央に配置し、画像をメモリに保存するために必要な計算を簡素化します。保存された画像は、車両のメモリからNPM共通サブシステムに入力されます。この例では、4つのエンジンにサービスを提供しています。次に、ソフトウェアは、ユースケース（必要なもの）と、目的の機能に対して最小の電力（高使用率）で最大のパフォーマンスを達成するためにイメージを分割する方法を決定します。この場合、NPMは画像を4つの部分に分割し、一部をオーバーラップさせて、各部分を異なるエンジンに送信します。次に、AI推論は、道路の4つのセグメントのそれぞれで実行されます。次に、4つのセグメントがサブシステムメモリにステッチバックされ、そこからSoCの他の場所の認識レイヤーに出力されて、目的のタスクを実行します。

この例は、2つのレベルの並列処理を示しています。1つは4つのエンジンを使用して画像の異なるセグメントを処理し、各エンジン内で5つの内部コプロセッサー間で計算を共有することによる並列処理です。

ソフトウェアによる最適化

AIは、主に畳み込みによって機能します。畳み込みは、一方の形状が他方によってどのように変更されるかを表す3番目の関数を生成する2つの関数の数学演算です。数学者のシュムエルウィノグラードは、通常の半分のステップ数で畳み込みを行う新しい方法を革新しました。 CEVAは、通常の畳み込みで達成されるのと同じ精度を達成するために、この理論的アイデアをプロセッサに実装しましたが、ほぼ2倍の加速、つまり電力の削減によるパフォーマンスの向上を実現しました。これは、エンジン内の5つのコプロセッサーのそれぞれで実行できます。

もう1つのトリックは、特定のアプリケーションに最適なデータ型に応じて、さまざまなデータ型で異なる操作を行うことです。たとえば、同時ローカリゼーションとマッピング（SLAM）は非常に高い精度を必要とするため、浮動小数点演算を使用する必要があります。他のアプリケーションの場合、固定数のビットが最適です。このようにして、自動車メーカーは、車両内の各機能に最適な計算方法を選択できます。

ソフトウェア操作とハードウェア最適化の両方を使用することで、大幅な加速を実現できます。AbrahamによるとNeuPro-Mでは最大16倍です。

まとめ

これは、レーダー、ライダー、ソナー、カメラなどのさまざまなセンサーからのデータを処理し、決定を下す際の特定のAIプロセッサーの内部機能の概要です。 NPMは異種プロセッサであり、さまざまなデータタイプで動作し、2つのレベルの並列処理とソフトウェアのターゲット設計を使用することで、TOPS/ワットで測定される動作を最適化できます。

1. Fang Chen、PhD、 SAE Edge Research Report — 車両の自律性、人工知能、および人間と機械の相互作用における未解決の問題。

この記事は、SensorTechnologyの編集者であるEdBrownによって書かれました。詳細については、Edまでお問い合わせください。このメールアドレスはスパムボットから保護されています。表示するにはJavaScriptを有効にする必要があります。または、こちらにアクセスしてください 。