AIビジョンプロセッサは、2W未満で30fpsで8Kビデオを可能にします

Ambarellaは、CES 2021を起動プラットフォームとして使用して、第5世代の人工知能（AI）ビジョンプロセッサシステムオンチップ（SoC）を発表しました。これは、電力効率の新しい基準を設定すると述べています。高度なSamsung5nmプロセスで製造されたCV5AIビジョンCVflowプロセッサにより、2ワット未満で毎秒30フレームでフル8Kビデオをエンコードできます。これは、自動車、消費者（ドローンを含む）、ロボットカメラのインテリジェントカメラシステムにとって重要です。

新しいCV5は、AmbarellaのCVflowAIエンジンとデュアルArmA76 CPUを組み合わせて、幅広いAIベースのアルゴリズムに必要なパフォーマンスを提供します。最大14台のカメラからの入力を可能にする画像信号プロセッサ（ISP）は、人間による表示と機械処理の両方のために画像を同時に処理できます。 Embedded.comとのブリーフィングで、Ambarellaのマーケティングおよび事業開発担当副社長であるChris Dayは、次のように述べています。これは最初の5nmチップであり、多くのアプリケーション、特にスポーツカメラにとって重要な低消費電力を可能にします。」

「私たちはSamsungファブと緊密に連携しており、業界で最高のVLSI設計チームの1つを持っています。これは、Samsungとの緊密な協力関係の結果として、プロセスライブラリに早期にアクセスできることを意味します。」

自動車のビデオテレマティクスアプリケーションでは、CV5は、フロントアドバンストドライバーアシスタンスシステム（ADAS）、ドライバーモニタリング、キャビンモニタリング、およびサイドビューカメラからの複数のビデオストリームをエンコードするために必要なパフォーマンスを提供します。そのCVflowAIエンジンは、車線逸脱警報などのADASアルゴリズム、前方衝突警告、および眠気のあるドライバー検出などのドライバー監視アルゴリズムを同時に実行できます。高解像度のビデオキャプチャと高度なAI処理の組み合わせにより、ADASカメラは長距離の画像を高精度で認識できます。

Dayは、このセグメントがAmbarellaの事業の約20％を占めるため、最初の関心は自動車市場にあると述べました。

CV5 SoCは低消費電力であるため、次世代の高解像度および高フレームレートのアクション、360°、および仮想現実（VR）カメラにも適しており、非常に小さなフォームファクタの設計で8Kの記録と再生を提供します。特に、VRカメラに適したオンチップ手ぶれ補正やスティッチングなどの機能も備えています。

ロボットおよびドローンアプリケーションでは、CV5のCVflow AIエンジンは、同時ローカリゼーションおよびマッピング（SLAM）、経路計画、障害物検出、およびナビゲーションと自律操作の回避アルゴリズムを高速化できます。ドローンベースの空中ビデオ撮影と映画撮影の場合、CV5は、毎秒60フレームで最大8Kの解像度のビデオ録画を記録しながら、飛行制御とナビゲーション機能を同時に実行できます。

Dayは、ドローン市場にはCV5が特に適している分野が2つあるとコメントしました。1つはビデオ撮影の改善ですが、もう1つはオブジェクト検出などのコンピュータービジョンとAIの追加です。

Day氏によると、さまざまなアプリケーションすべてで、CV5の主な利点はすべての市場で8Kの録画を追加できることです。彼はまた、同社がPCIeインターフェースをチップに搭載し、接続オプションを開放するのはこれが初めてだとも述べた。最初の焦点は自動車、スポーツカメラ、ドローン、VRカメラですが、彼は今年後半にセキュリティと監視のためにCV5のバージョンを用意する予定です

新しいSoCは、共通のSDKおよびコンピュータービジョン（CV）ツールをAmbarellaの他のCVflow SoCファミリーと共有し、複数の価格とパフォーマンスのオプションを備えたカメラの開発を簡素化します。 CVツールの完全なセットは、コンパイラ、デバッガー、PyTorch、ONNX、Caffe、TensorFlowなどの業界標準の機械学習フレームワークのサポート、畳み込みニューラルの広範なガイドラインなど、顧客が独自のニューラルネットワークをCV5に移植するのに役立ちますネットワーク（CNN）パフォーマンスの最適化。

CV5SoCの主な機能は次のとおりです。

• DNNをサポートするCVflowアーキテクチャ
• デュアルコアArmCortex-NEONDSP拡張機能とFPUを備えた最大1.6GHzのA76
• 高速SLVS-EC、MIPI-CSI（C / D PHY）インターフェース、最大14台のカメラを接続
• 最大8KP60のスループットを備えたマルチチャネルISP
• RGGB、RCCB、RCCC、RGB-IR、およびモノクロセンサー形式のネイティブサポート
• 多重露光ハイダイナミックレンジ（HDR）処理
• リアルタイムのハードウェアアクセラレーションによる魚眼レンズの歪み補正とレンズ歪み補正（LDC）
• 最大8KP60のスループットとマルチストリームサポートを備えたAVCおよびHEVCエンコーディング
• 豊富なインターフェイスセットには、4レーンPCIe、CAN FD、ギガビットイーサネット、USB 3.1ホストおよびデバイス、3つのSDカードコントローラー、MIPI DSI / CSI-2、およびHDMIビデオ出力が含まれます
• LPDDR4x / LPDDR5 / LPDDR5xのサポート、64ビットデータバス、最大32GBの容量
• TrustZoneとセキュアメモリを使用したセキュアブート、TRNG、OTP、DRAMスクランブリング、仮想化などのセキュリティ機能
• 5nmプロセステクノロジー
• ボールピッチ0.5mmの16×16FBGAパッケージ