ルネサスとSyntiantは、音声制御によるビジョンAIソリューションを共同で提供します

Renesas ElectronicsCorporationとエッジデバイスでの低電力インテリジェント音声およびセンサー処理のプロバイダーであるSyntiantCorp。は、組み込みビジョンでの画像処理のための低電力非接触操作を可能にする音声制御マルチモーダル人工知能（AI）ソリューションを共同開発しましたAIベースのモノのインターネット（IoT）とエッジシステム。

新しいソリューションは、ルネサスRZ / VシリーズビジョンAIマイクロプロセッサユニット（MPU）と、低電力マルチモーダルのSyntiant NDP120ニューラルデシジョンプロセッサを組み合わせて、セルフチェックアウトマシン、セキュリティカメラ、ビデオなどのアプリケーションで高度な音声および画像処理機能を提供します。会議システム、およびロボット洗浄装置などのスマートアプライアンス。

共同ソリューションは、スタンバイモードからの迅速な音声トリガーアクティベーションを備えた常時接続機能を備えており、オブジェクト認識、顔認識、およびセキュリティカメラやその他のシステムの重要な機能であるその他の視覚ベースのタスクを実行します。たとえば、ユーザー定義の音声キューがアクティブ化とシステム操作を促進する一方で、ビジョンAI認識はオペレーターの行動を追跡し、操作を制御したり、疑わしいアクションが検出されたときに警告を発したりします。

マルチモーダルアーキテクチャにより、ビジョンAIベースのシステムの非接触ユーザーエクスペリエンスを簡単に作成できます。音声認識に専用の電力効率の高いチップを使用すると、ビジョンAI機能とは独立してソフトウェアを開発できるため、システム開発をスピードアップしながら待機電力消費を削減できます。

ルネサスRZ / VシリーズMPUは、ルネサスのDRP-AI（動的に再構成可能なプロセッサ-AI）アクセラレータを組み込んでおり、高精度のAI推論と、ルネサスが業界で最も優れていると主張する電力効率を組み合わせています。この優れた電力性能により、ヒートシンクや冷却ファンなどの熱分散対策が不要になり、部品表（BOM）のコストが削減され、ビジョンAIをさまざまな組み込みアプリケーションに統合できるようになります。 DRP-AIは、AI-MACとDRP（動的に再構成可能なプロセッサ）で構成されており、内部スイッチを使用してデータフローを最適化することにより、畳み込み層とすべてを組み合わせる層で操作を効率的に処理できます。 DRPは、ハードウェア構成を動的に変更することにより、画像の前処理やAIモデルのプーリングレイヤーなどの複雑な処理を柔軟かつ迅速に処理できます。提供されているDRP-AIトランスレータは、AIモデルの各プロセスをAI-MACとDRPに自動的に割り当てるため、ユーザーはハードウェアを意識せずにDRP-AIを簡単に使用できます。 DRP-AIトランスレータによって出力された複数の実行可能ファイルを外部メモリに配置できます。これにより、システムとして複数のAIモデルを動的に切り替えることができます。さらに、DRP-AIトランスレータは、ハードウェアを変更せずに新しく開発されたAIモデルをサポートするように継続的に更新できます。

Syntiant NDP120チップには、話者認識、キーワード検出、複数のウェイクワード、ローカルコマンド認識など、多くの高精度のハンズフリー音声機能を実装するために使用できる高度なAI機能が組み込まれています。 Syntiant Core 2ニューラルネットワーク推論エンジンがパッケージ化されたNDP120は、消費電力を1mWのバッテリー電力に最小限に抑えながら、複数のアプリケーションを同時に実行することもできます。

ルネサスの新田博人氏は、「使いやすさと安全性の両方を向上させる方法として、画像と音声の両方の入力情報の複数のストリームを使用するマルチモーダルシステムの需要が今後ますます高まると予想しています」と述べています。 IoTおよびインフラストラクチャビジネスユニットのシニアバイスプレジデント兼SoCビジネスの責任者である新田氏は、次のように述べています。組み込みシステムでの低電力、超小型のスマートボイスAIテクノロジーの採用を加速し、新しい複合ソリューションを世界中の顧客に提供します。」

SyntiantCEOのKurtBusch氏は、次のように述べています。「音声ベースのユーザーインターフェースにより、顧客は、コンセプトから実現まで次世代の革新的なアイデアをもたらす新しいユーザーエクスペリエンスを提供できるようになります。さまざまな消費者向けおよび産業用IoTアプリケーションで常時音声を有効にするために、すでに1,500万を超えるディープラーニングNDPを世界中に出荷しています。ルネサスとのコラボレーションにより、さまざまなデバイスやユースケースでグローバルな顧客ベースの牽引力を確実に加速する、強力で低電力の音声および画像ソリューションが提供されます。」

新しい音声制御マルチモーダルAIソリューションは、幅広いルネサスポートフォリオの相互に互換性のある複数のデバイスを使用して、市場投入までの時間を短縮し、リスクを軽減するための高度なプロトタイピングプラットフォームを顧客に提供します。この新しいソリューションは、ルネサスの「勝利の組み合わせ」の一部であり、魅力的なアナログ、電力、および組み込み処理製品の組み合わせを特徴としており、顧客が設計を加速し、より早く市場に参入するのに役立ちます。

回路図やBOMリストなど、新しいマルチモーダルAIソリューションのリファレンスデザインが利用可能になりました。