ルネサスとSyntiant、組み込みIoTシステム向け低消費電力音声制御ビジョンAIを発表

ルネサスエレクトロニクスとSyntiant Corp.が提携し、組み込みビジョンAI IoTとエッジアプリケーション向けに非接触画像処理を提供する低消費電力・音声制御マルチモーダルAIプラットフォームを構築しました。

ルネサスのRZ/VシリーズビジョンAIマイクロプロセッサーユニット（MPU）とSyntiantの超低消費電力NDP120ニューラル意思決定プロセッサーの統合により、セルフチェックアウトキオスク、セキュリティカメラ、ビデオ会議システム、ロボット掃除機などのスマート家電に至るユースケースで、高度な音声と画像処理を提供します。

共同ソリューションは、スタンバイからの迅速な音声トリガー・ウェイクアップを可能にする常時オンモードを備え、セキュリティカメラなどのシステムに不可欠な物体認識、顔認識、その他ビジョンベースタスクを実行。ユーザー定義音声キューが起動と操作を開始し、ビジョンAIがオペレーター行動を追跡し、不審な活動検出時に警告できます。

音声認識を専用の電力効率チップに分離することで、アーキテクチャはスタンバイ消費電力を削減し開発を加速。開発者は音声とビジョンコンポーネントを独立してプログラミングでき、統合を簡素化します。

ルネサスRZ/VシリーズMPUは、AI-MACとDRPコアから構成されるDRP-AI（動的再構成可能プロセッサーAI）アクセラレーターを搭載。内部スイッチでデータフローを最適化し、畳み込み層と全結合層を効率的に処理。DRPは画像前処理やAIモデルプーリング層などの複雑タスクを迅速に処理するため動的に再構成可能。DRP-AIトランスレーターがAIモデル操作を適切なハードウェアに自動マッピングし、開発者が詳細なハードウェア知識なしでDRP-AIを利用可能。複数実行ファイルが外部メモリに常駐し、実行時のAIモデル動的切り替えを実現。トランスレーターはハードウェア変更なしで新モデルサポートに更新可能。

Syntiant NDP120チップは、話者認識、キーワード検出、複数ウェイクワード、ローカルコマンド認識を含む高精度ハンズフリー音声機能をサポートする高度なAI機能を内蔵。Syntiant Core 2ニューラルネットワーク推論エンジンと組み合わせ、NDP120は複数アプリケーションを同時実行しながら、わずか1mWの電池電力で動作可能。

ルネサスのHiroto Nitta氏（IoT・インフラユニットSoCビジネス担当シニアバイスプレジデント兼責任者）は、「複数の入力情報ストリーム（画像と音声の両方）を使用するマルチモーダルシステムへの需要が、使いやすさと安全性の両方を向上させる手段として今後増加すると予想されます」と述べています。「低消費電力画像AI技術のリーダーであるルネサスと、音声AI技術のリーダーであるSyntiantの協力により、組み込みシステムにおける低消費電力・超小型スマート音声AI技術の採用を加速し、世界中の顧客に新たな統合ソリューションを提供します。」

Syntiant CEOのKurt Busch氏は、「音声ベースUIにより、顧客はコンセプトから現実へ次世代イノベーティブアイデアをもたらす新しいユーザー体験を提供可能になります。世界中で1,500万個以上のディープラーニングNDPを出荷し、幅広いコンシューマー/産業IoTアプリケーションで常時オン音声を実現してきました。ルネサスとの協力で、強力かつ低消費電力の音声・画像ソリューションが生まれ、多様なデバイスとユースケースでグローバル顧客基盤でのトラクション加速が確実です。」

新しい音声制御マルチモーダルAIソリューションは、ルネサスの広範なポートフォリオから複数の互換デバイスを活用し、より迅速な市場投入とリスク低減のための高度なプロトタイピングプラットフォームを顧客に提供。ルネサスの「ウィニングコンビネーション」の一環として、魅力的なアナログ、電源、組み込み処理製品をペアリングし、顧客の設計加速と新製品迅速発売を支援します。

マルチモーダルAIソリューションのリファレンスデザイン（回路図とBOMリストを含む）が現在利用可能です。