自律走行車の「脳」：AIが現代車両をどう駆動するか

自律走行車（AV）、または高度運転支援システム（ADAS）搭載車であっても、複数のカメラ、LiDAR、レーダー、時にはソナーなど、多数のセンサーからのデータに依存しています。このセンサーアレイから流れ込むデータストリームを処理することは、巨大かつ同時に極めて重要なタスクです。それらすべてのデータをリアルタイムで情報に変換し、完璧な人間ドライバーが運転しているのと同等以上に安全に車を運転するために使用しなければなりません。「路上では、人間ドライバーは現在の周囲を警戒し、他のドライバーと相互作用し、意思決定を行う必要があります。人間ドライバーと同様に、AVも知覚し、相互作用し、意思決定すべきです。さらに、AVは乗客と良好な関係を築くべきです。」¹

AIをアクションに：CEVAの自動車AIプラットフォーム

これらの機能は、異なるセンサーからのデータを同化し、車両とその動的環境の瞬時の画像に統合する人工知能（AI）に依存しています。このプロセスをセンサーフュージョンと呼びます。自動車用途に最適化するには、AIは深層ニューラルネットワーク（DNN）を採用します。人間の脳の情報処理をモデルにしたDNNは、プログラマーに指示されるのではなく、経験から学習することで現実世界の運転をどうナビゲートするかを学びます。DNNは複数の入力を受け入れ、それらに異なる重みを割り当て、推論を導き出します。すべてを「リアルタイム」で行うには、極めて高性能かつ省電力なコンピューティングプラットフォームが必要です。これは処理アクセラレーターを使用することで高速化できます。

CEVAの3本柱：NeuPro-M、SensPro、CDNN-Invite

自動車AI向け高性能プラットフォームに何が必要かを知るため、CEVA, Inc.のGil Abraham氏に彼らの実装ツールについてインタビューしました。

CEVAのビジョンとAIビジネスユニットには、Abraham氏が「3本柱」と呼ぶものがあります：AIプロセッサーであるNeuPro-M、高性能センサーハブDSP（デジタル信号プロセッサー）であるSensPro、そしてCDNN-Inviteソフトウェア。CDNN-Inviteは、メーカーが独自のDNNアクセラレーターを入力し、CEVAのNeuPro-M AIプロセッサーおよびSensPro DSPと協調動作させ、同じメモリとフローソフトウェア開発キット（SDK）で一元管理できる統一システムを実現します。

SensPro DSPでマルチセンサー融合とSLAMを実行

SensPro DSPは、複数のLiDAR、レーダー、カメラを含むさまざまなセンサーからの入力に対して信号処理を行い、それらを畳み込みます。これをセンサーフュージョンと呼び、多くのセンサーの入力を集約します。これは自動車用途で極めて重要です。なぜなら各センサーには固有の限界があるからです。

例えば：

• カメラ：非常に高解像度で微細なディテールを検知可能。しかし車両の盲点、後方視野、周囲視野、異なる焦点距離の複数の前方カメラなど、通常1つ以上必要。各カメラが別々のデータストリームを提供。夜間や逆光では機能しない。

• レーダー：夜間でも機能し、距離測定可能。しかし複数の近接物体を区別するのに十分な高解像度がない。静止・低速物体の検出に失敗することがあり、「セマンティクス」（物体の色や形状）を検出できない。それにはカメラが必要。

• LiDAR：自ら光源となるため暗闇でも日中でも高性能。高解像度で精密かつ高速な測定データを提供し、リアルタイムフリースペース検出とシーン内複数物体の追跡が可能。しかし十分なLiDARデータポイントを得るには、5〜6台のこれらの高価なデバイスを車両に搭載する必要がある。

SensPro DSPはこれらの入力に加え、ToF（Time of Flight）センサー、IMU（慣性計測装置）からの入力を取り、SLAM（同時自己位置推定と地図作成）アルゴリズムを効率的に処理し、それらすべてを用いて「状況認識（コンテキストアウェアネス）」——自動車とその環境の状況の全体像——を作成できます。必要に応じて、ハードウェアに専用命令セットを追加して、他の特定処理の更なる加速も可能です。

NeuPro-Mが高レベル運転判断を担当

NeuPro-Mは、自律走行車機能の主要課題の多くに対応しています：高速・低レイテンシー・スケーラブルな動作、低消費電力、高セキュリティ、ISO 26262機能安全規格への準拠。またスケーラブルで、単一センサー、ゾーン内センサークラスタ、さらには自動車のエンジン制御ユニット（ECU）の一部として組み込むことも可能です。

高性能自動車AIプラットフォームのアーキテクチャ

CEVA NeuPro-M AIプロセッサーの機能は、高レベルの運転判断を行うことです。これらの判断は、状況情報を提供するDNN入力に基づきます：対向車がいるか、車線内を走行しているか、絶対位置（SLAM）はどこか。

NeuPro-M AIプロセッサーは、受け取った情報に基づいて取るべきアクションを決定する意思決定者です。AIは意思決定に膨大な計算を必要とし、これらはほぼリアルタイムで実行されなければなりません。したがって強力なプロセッサーが必要です。自動車用途では、計算量が増え実行時間が短くなるにつれて消費電力が増えるため、消費電力最小化も必要です。プロセッサー性能の指標は一つの数値でまとめられます：テラ演算/秒/ワット（TOPS/ワット）。数値が高いほど性能が良いです。NeuPro-Mの電力効率は24 TOPS/ワットで、ほとんどの他の自動車AIプロセッサーより大幅に高いです。

セキュリティは最重要です。実際、セキュリティと安全性が自動車用途で最も重要な要件と言えます。自律走行車のAIプロセッサーは責任あるドライバーです。AI処理を行うニューラルネットワークは各入力に重みを割り当て、それらの重みは悪意ある改ざんに対して脆弱です。セキュリティシステムは、それらの攻撃から守るためプロセッサーの不可欠な一部です。

パフォーマンス最適化：帯域幅ボトルネック解消と適応的トポロジー

パフォーマンス最適化では、プロセッサーがいくら高速でも、プロセッサーへの情報移動の帯域幅制限（主にシステムインターフェースの制限によるメモリー面から）でボトルネックになることを認識することが重要です。演算ユニットは、巨大なデータをメモリーに格納・取得する時間よりはるかに高速に動作します。この対策の一つは、特定の計算を実行するのに十分な情報が揃うのを待つ代わりに、データの連続的な流れをプロセッサーに向けることです。

もう一つの最適化は、適応的であること、モジュラー適応トポロジーを使用することです。プロセッサートポロジーを、異なるタイプのセンサー処理や異なるタイプの演算に最適化できます。一つの機能は、多くの数学を必要とするパワートレイン効率の最適化かもしれませんし、別の機能は単一センサーの処理だけかもしれません。

非常に正確な計算が必要なら、ベクトルプロセッサー内で固定小数点ではなく浮動小数点演算を使用できます。帯域幅削減の別の方法は、データを圧縮してシステム内で全て移動させる必要をなくすことです。これらはソフトウェア的対処ですが、DSPとAIプロセッサー自体の最適化も、各領域のボトルネックにディープダイブして対処する必要があります。

2レベルの並列処理で性能向上

NeuPro-M（NPM）プロセッサーは3つの部分で構成されます（図2参照）：マスターコントローラー、NPM共通サブシステム、NPMエンジン。プロセッサーは1〜8個のエンジンを含められ、特定用途のニーズに合わせて選択可能。プロセッサー動作はエンジン数でスケーリングできます。「これがより多くの馬力を得る方法です」とAbraham氏は言います。

NPM共通サブシステムはNPMエンジンと常時通信しています。そのチャネルはボトルネックにならないよう監視され、データがシステムに流れ続けることを保証します。推論AIは2つのデータセットで動作します：データ自体（画像など）、およびデータに適用して推論を行う重み。共通サブシステムは、データと重みの両方に圧縮を適用することでチャネルを開いたままにします。

並列処理は、複数エンジンの使用と、エンジン内のコプロセッサーの使用の両方で実装できます。各エンジンは5つのコプロセッサーと共有内部メモリーを含みます。

4エンジンNPMでの車両制御例

図3は並列処理のシンプルな自動車応用を示します。図の左側は前方カメラで撮影された道路画像です。車内プロセッサーが対向車線をマスクして計算を簡素化し、車両を自車線中央に保つために必要な計算を行い、画像をメモリーに格納。格納された画像が車両メモリーからNPM共通サブシステムに入力され、この例では4つのエンジンにサービス提供します。ソフトウェアがユースケース（何が必要か）を決定し、最大性能・最小消費電力（高利用率）で所望機能を達成するためにどう画像を分割するかを決めます。この場合、NPMは画像を多少のオーバーラップを持つ4つの部分に分割し、各部分を異なるエンジンに送ります。AI推論が4つの路面セグメントそれぞれで実行されます。4セグメントはサブシステムメモリーで再びステッチされ、SoC内の知覚レイヤーに出力され、所望タスクが実行されます。

この例は、2レベルの並列処理を示しています：4つのエンジンで画像の異なるセグメントを処理し、各エンジン内で5つの内部コプロセッサー間で計算を共有する並列処理です。

ソフトウェア最適化：Winograd畳み込みで2倍高速化

AI機能は主に畳み込みで動作します。これは2つの関数に対する数学的演算で、一方の形状が他方によってどう変形されるかを表す第3の関数を生成します。数学者Shmuel Winograd氏が、通常の半分のステップ数で畳み込みを行う新しい方法を考案しました。CEVAはこの理論的アイデアをプロセッサーに実装し、通常の畳み込みで達成されていたのと同じ精度を、ほぼ2倍の加速で実現しました。これはエンジン内の5つのコプロセッサーそれぞれで実行できます。

もう一つの工夫は、特定用途に最適なものに応じて、異なるデータタイプで異なる演算を行うことです。例えば、SLAM（同時自己位置推定と地図作成）には非常に高い精度が必要なので浮動小数点演算を使用しなければなりません。他の用途では固定ビット数で完璧です。このように自動車メーカーは、車両内の各機能に最適な計算方法を選択できます。

ソフトウェア操作とハードウェア最適化の両方を使用することで、NeuPro-Mで最大16倍の大幅な加速が可能です（Abraham氏談）。

まとめ

これは、レーダー、LiDAR、ソナー、カメラなど多様なセンサーからのデータを処理し、意思決定を行う特定のAIプロセッサーの内部動作の概要です。NPMはヘテロジニアスプロセッサーであり、異なるデータタイプで動作し、2レベルの並列処理と標的を絞ったソフトウェア設計により、TOPS/ワットで測られる性能を最適化できます。

1. Fang Chen, PhD, SAE Edge Research Report — Unsettled Issues in Vehicle Autonomy, Artificial Intelligence, and Human-Machine Interaction.

この記事は、センサーテクノロジー編集者Ed Brownによって執筆されました。詳細はEdまで：This email address is being protected from spambots. You need JavaScript enabled to view it. またはこちら .