ツールはバリューチェーンを上に移動し、ミステリーをビジョンAIから外します
日用品にビジョンを加えることのメリットは、多くの業界やセクターの注目を集めています。しかし、実際にカメラからデータを取得し、デバイスに機械学習を組み込んで推論アルゴリズムを実行し、有用なものを処理できるようにするにはどうすればよいでしょうか。
答えは、他のシステム設計と同様に、適切なソフトウェア、ツール、ライブラリ、コンパイラなどを用意することです。このような機能が一般的にエンジニア以外の人の理解を超えているのは当然のことです。しかし、組み込みシステムの開発者の間でさえ、ビジョンシステムの設計に必要な知識とスキルは不足していると考えられています。
Edge AI and VisionAllianceの創設者であるJeffBierが、2021年のEmbedded VisionSummitのEETimesaheadとのブリーフィングで説明したように、大きな課題の1つは、組み込みビジョンシステムの開発に利用できるソフトウェアとツールの認識の欠如です。 。 アルゴリズムとシリコンに関する多大な投資と研究が行われている一方で、それらの間を仲介するソフトウェアツール（コンパイラ、最適化された関数ライブラリなど）は、いくらか無視されてきたとBier氏は述べています。
適切なソフトウェアツール、コンパイラ、およびライブラリを使用すると、特定のマイクロコントローラまたはプロセッサのアルゴリズムを非常に効率的に実装できます。しかし、「過去30年間、半導体企業は通常、ソフトウェアツールへの投資を過小評価してきました」と、組み込みシステム業界、特に信号処理のベテランであるBier氏は述べています。 「[ソフトウェア]は、必然的に悪と見なされることがよくあります。これは、非常にコストに敏感なビジネスのコストセンターであり、それが示しています。組み込みソフトウェア開発者は、PCやクラウドの開発者が持っているものと比較して、利用可能なツールを見て、愛されていない継子のように感じるかもしれません。」
この議論を次のレベルに引き上げ、「組み込みシステムの専門知識を持っているかもしれませんが、これらの開発者が画像データやディープニューラルネットワークを扱ったことがない可能性があります。」
スキルは大きな課題です、とBierは言いました。 「スプレッドシートの計算を行った可能性があります。「はい、この種のディープニューラルネットワークをアプリケーションで十分なパフォーマンスで実行することは可能です。」しかし、その方法を知っていますか？スキルはありますか？ほとんどの組織にとって、答えはノーです。過去にこのテクノロジーを使用する機会がなかったからです。商業の世界では比較的新しいテクノロジーであるため、専門知識がありません。社内に機械学習部門やコンピュータービジョン部門はありません。
「ここ数年で、これはコンピュータビジョンとディープニューラルネットワークの商用アプリケーションに関して非常に大きなボトルネックになりました。これはノウハウにすぎません。」
ただし、企業が過去2年間でスキルのギャップに対処しようと努めてきたため、テクノロジーはより利用しやすくなっています。 「知識とスキルのギャップはかなり大きくなっていますが、ますます小さくなっています」とBier氏は述べ、「2社の企業」（1社は大企業と1社は小企業）が「これを主導してきました」と付け加えました。大企業はIntelです。小さいのはエッジインパルスです。
「インテルは、この傾向に逆らい、さまざまな方法でソフトウェアツールに多額の投資を行う用意があると私に印象づけてきました」とBier氏は述べています。 「たとえば、エッジコンピュータビジョンと推論用のOpenVINOツールチェーンや、エッジ用のDevCloudがあります。 EdgeImpulseもクラウドベースの環境です。組み込み開発者にとって、その[クラウド環境]は奇妙に感じます。多くの場合、開発ボード、ワークステーション、ツールなど、すべてが机の上にあり、インターネット接続さえ必要ありません。すべてが非常にローカルです。そのため、「コードをクラウドに入れて」と言って、ツールをクラウドで実行するのは非常に奇妙に感じます。
この傾向は、展開までの時間とスキルのギャップに対応しています。組み込み開発者にとって頻繁なフラストレーションは、ボードやツールにアクセスし、それらを適切にインストールすることです、とBier氏は述べています。タイムラインは「通常は数週間、場合によっては数か月で測定されますが、それは苦痛です。特に、それが必要なものではなく、他のボードでプロセスを繰り返す必要があることに気付いた場合はなおさらです。」たとえば、プロセスの最後に、「パフォーマンスが高い、またはI / Oインターフェイスのセットが異なる次のものが必要」と感じる場合があります。
しかし、サプライヤが「クラウド内のすべての開発ボードをマシンに接続し、それらに自由にアクセスできる場合、それは非常に便利です。同様に、彼らはソフトウェアツールの最新バージョンを入手しており、それらの間のすべての依存関係を整理しています。」
ビジョンを実装するための道を開く
では、スマートシティ、工場、小売店、その他のアプリケーションを問わず、オブジェクトの検出や分析などの機能を有効にするために、組み込みビジョンの導入をどのようにスピードアップしますか？
Bierが説明した問題点を認識した後、企業はそれらに対処しています。現在、クラウドベースの開発システムなどのツールを提供しているものもあります。これにより、コードやデータをフィードして、すぐに評価を取得できます。他の製品は、カメラ出力をプラグインして、一般的なアプリケーションの推論アルゴリズムを提供するライブラリまたはアプリから選択できるリファレンスデザインを提供します。
以前のキャンプでは、Intel DevCloud for theEdgeとEdgeImpulseは、最新のツールとソフトウェアに簡単にアクセスできるため、問題点のほとんどを取り除くクラウドベースのプラットフォームを提供します。後者では、ザイリンクスなどが、より高度な抽象化のツールを使用して展開できる本番環境に対応したアプリケーションを備えた完全なシステムオンモジュールの提供を開始しました。これにより、より専門的なスキルが不要になります。
クラウドでのAI推論のプロトタイプ、ベンチマーク、テスト
Intel DevCloud for the Edgeを使用すると、ユーザーは、CPU、統合GPU、FPGA、ビジョンプロセッシングユニット（VPU）などのさまざまなIntelハードウェアでAI推論アプリケーションを開発、プロトタイプ作成、ベンチマーク、およびテストできます。 Jupyter Notebookインターフェースを備えたプラットフォームには、すばやく起動して実行するために必要なすべてのものがプリロードされたチュートリアルと例が含まれています。これには、事前にトレーニングされたモデル、サンプルデータ、OpenVINOツールキットのインテルディストリビューションの最新バージョンからの実行可能コード、およびディープラーニング用の他のツールが含まれます。サポートするすべてのデバイスは、最適なパフォーマンスが得られるように構成されており、推論を実行できるようになっています。
開発者にとっての最も重要な利点は、プラットフォームがユーザー側でハードウェアをセットアップする必要がないことです。 Jupyter Notebookのブラウザベースの開発環境により、開発者はブラウザ内からコードを実行し、結果を即座に視覚化できます。これにより、インテルのクラウド環境でコンピュータービジョンソリューションのプロトタイプを作成し、利用可能なハードウェアリソースの任意の組み合わせでコードが実行されるのを見ることができます。
このクラウドベースのサービスには、3つの主な利点があります。まず、ハードウェア選択の麻痺の問題に対処します。開発者は、さまざまなハードウェア上でAIアプリケーションをリモートで実行し、推論の実行時間、消費電力、コストなどの要因に基づいて、ソリューションに最適なアプリケーションを決定できます。
次に、最新のIntelエッジハードウェアへの即時リモートアクセスを提供します。ソフトウェア側では、OpenVINOツールキットのインテルディストリビューションの最新バージョンと互換性のあるエッジハードウェアへの即時アクセスを提供するため、古いソフトウェアを処理する必要があるという問題に対処します。
そして第3に、アプリケーション固有のパフォーマンスベンチマークへのアクセスを、比較しやすいサイドバイサイド形式で提供します。
（Intel DevCloud for the Edgeを使用したオブジェクト検出モデルの実行に関するチュートリアルはこちらから入手できます。）
クラウドでモデルを構築し、ライブで何が起こるかを確認する
もう1つのアプローチは、データをクラウドプラットフォームにフィードして、トレーニングモデルを視覚化および作成し、それらを組み込みデバイスにデプロイすることです。 Edge Impulseはまさにそれを実現し、博士号を必要とせずにエッジデバイスに機械学習を簡単に追加できるようにすることを目的としたクラウドベースの開発環境を提供します。同社によれば、機械学習で。
そのプラットフォームにより、ユーザーは現場から収集された画像データをインポートし、そのデータを解釈するための分類子をすばやく構築し、モデルを本番の低電力デバイスに展開することができます。 Edge Impulse Webプラットフォームの鍵は、取得したすべてのデータを表示およびラベル付けし、データを拡張および変換する前処理ブロックを作成し、画像データセットを視覚化し、トレーニングデータのモデルをユーザーインターフェイスから直接分類および検証する機能です。
コンピュータービジョンモデルを最初から作成するのは非常に難しいため、Edge Impulseは転移学習のプロセスを使用して、モデルのトレーニングをより簡単かつ迅速に行えるようにします。これには、十分にトレーニングされたモデルに便乗し、ニューラルネットワークの上位層のみを再トレーニングすることが含まれます。これにより、わずかな時間でトレーニングし、大幅に小さいデータセットで動作する、はるかに信頼性の高いモデルが実現します。モデルの設計、トレーニング、検証が完了すると、このモデルをデバイスに展開して戻すことができます。このモデルは、インターネットに接続せずにデバイス上で実行でき、遅延の最小化などの固有の利点をすべて備え、最小の消費電力で実行できます。完全なモデルは、組み込みソフトウェアに含めることができる単一のC ++ライブラリに、前処理ステップ、ニューラルネットワークの重み、および分類コードとともにパッケージ化されています。
より高いレベルの抽象化に移行する
ベンダーが提供しているもう1つのアプローチは、モジュールベースのシステムを提供し、より高いレベルの抽象化で設計できるようにすることで、開発時間を短縮することです。ザイリンクスによると、新しいシステムオンモジュール（SOM）アプローチは、ビジョンAIの複雑さの高まりと、エッジでAIを実装する際の課題に対処することで、ビジョンシステムの開発期間を最大9か月短縮できるとのことです。
ザイリンクスは最近、SOMの新しいポートフォリオの最初の製品であるKria K26 SOMを発表しました。これは、スマートシティやスマートファクトリーのビジョンAIアプリケーションを対象とし、すぐに使用できる低コストの開発キットであるKriaです。 KV260AIビジョンスターターキット。
ザイリンクスのインダストリアル、ビジョン、ヘルスケアのディレクターであるChetan Khonaは、新しいモジュールファミリーを立ち上げるための記者会見で、次のように述べています。お客様は、デバイスベースの設計ではなくモジュールベースの設計を使用することで、開発時間を最大9か月節約できます。」彼は、スターターキットを使用すると、ユーザーは「FPGAの経験がなくても」1時間以内に開始できると付け加えました。ユーザーは、カメラ、ケーブル、モニターを接続し、プログラムされたmicroSDカードを挿入してボードの電源を入れ、選択した高速アプリケーションを選択して実行できます。
Kria SOMポートフォリオは、ハードウェアおよびソフトウェアプラットフォームを、本番環境に対応したビジョンアクセラレーションアプリケーションと組み合わせます。これらのターンキーアプリケーションは、FPGAハードウェアの設計作業をすべて排除します。ソフトウェア開発者は、カスタムAIモデルとアプリケーションコードを統合し、オプションでビジョンパイプラインを変更するだけで済みます。TensorFlow、Pytorch、Caféフレームワーク、C、C ++、OpenCL、Pythonプログラミング言語などの使い慣れた設計環境を使用します。
Kria SOMは、標準のYoctoベースのPetaLinuxをサポートすることで、組み込み開発者向けのカスタマイズと最適化も可能にします。ザイリンクスは、AI開発者が使用する非常に人気のあるLinuxディストリビューションであるUbuntu Linuxサポートを提供するために、Canonicalとのコラボレーションも進行中であると述べました。これにより、AI開発者に広く精通し、既存のアプリケーションとの相互運用性が提供されます。お客様はどちらの環境でも開発でき、どちらのアプローチでも本番環境に移行できます。どちらの環境にも、ソフトウェアインフラストラクチャと便利なユーティリティが事前に構築されています。
組み込みビジョンシステム開発のスキルと知識のギャップ、および導入時間に対処するためにベンダーが採用している3つのアプローチを強調しました。クラウドベースのアプローチは、モデルを作成およびトレーニングし、ハードウェアを評価して組み込みデバイスに非常に迅速に展開する機能を「民主化」するツールを提供します。また、アプリライブラリを使用してモジュールまたはリファレンスデザインを提供するアプローチにより、AI開発者は既存のツールを使用して組み込みビジョンシステムをすばやく作成できます。これらはすべて、開発ボードとツールの別の見方に私たちを動かしています。バリューチェーンを上に移動し、基本レベルの作業をベンダーのツールとモジュールに任せることで、埋め込まれたビジョンから謎を取り除きます。
関連コンテンツ ：
- 転換点に埋め込まれたビジョン
- エンベデッドビジョンとエッジAIで注目すべき5つのトレンド
- 機械はこれまでに見ているものを完全に理解しますか？
- ザイリンクスSOMは、エッジAIと組み込みビジョンの幅広い採用を目標としています
- エンベデッドビジョンサミット：小さなFPGAでのML認識
- GWMは新しいSUVにAmbarellaAIビジョンSoCを採用しています
- AImotiveは、Nextchip Apache5で98％のエッジビジョン効率を示しています
- 低電力AIビジョンボードは、単一のバッテリーで「数年」持続します
- OmniVisionは、内視鏡検査を深くするために医療用イメージセンサーを縮小します
埋め込み