reTerminal Machine Learning Demos（EdgeImpulseおよびArmNN）
8 GB RAM 32 GB eMMC Raspberry Pi CM開発ボード、タッチスクリーンと豊富なインターフェースを備えています。
ストーリー
私が公開した最後のいくつかの記事は、Wioターミナルを備えたTinyMLについてでした。これは、頑丈なプラスチックケースにLCDスクリーンを備えたCortexM4Fベースの開発ボードです。 Seeed studioは、Wio Terminalにこのアイデアをさらに一歩進めることを決定させ、最近発表されたreTerminal –頑丈なプラスチックケースにLCDスクリーンを備えたRaspberry Pi 4 ComputeModuleベースの開発ボードです。
reTerminalsの1つを手に入れ、簡単な開梱ビデオを作成しました。このビデオには、いくつかのデモと、デバイスの考えられる使用例の説明も含まれています。この記事は、ビデオの補足として、環境のセットアップ方法と機械学習デモの実行方法を拡張するためのものです。
reTerminalは、1.5GHzで動作するクアッドコアCortex-A72CPUを搭載したRaspberryPi Compute Module 4（CM4）を搭載しています。 reTerminalに使用されるCM4モジュールバージョンには、4GbのRAMと32GbのeMMCストレージがあり、起動時間を短縮し、全体的なユーザーエクスペリエンスをよりスムーズにします。周辺機器に関しては、解像度が1280 x 720の5インチIPS容量性マルチタッチスクリーン、加速度計、RTCモジュール、ブザー、4つのボタン、4つのLED、および光センサーがあります。また、接続性のために、新しいボードにはデュアルバンド2.4GHz / 5GHzWi-FiとBluetooth5.0 BLEがあり、側面にギガビットイーサネットポートがあります。
reTerminalは、Raspberry Pi 4、5V2Aに使用されているものと同じ電源で電力を供給できますが、公式の説明では、特に周辺機器を接続する場合は、4A電源をお勧めします。デモでは、工場不明の会社5V2A壁コンセント電源を使用しましたが、低電圧の警告は表示されませんでした。そうは言っても、疑わしい場合は5V4Aを使用してください。
デフォルトでは、reTerminalsには32ビットのRaspbian OSがプリインストールされており、デバイスドライバーがインストールされています。ただし、機械学習アプリケーションの場合、64ビットOSは大幅な向上をもたらす可能性があるため、Seeed studioは、reTerminal固有のドライバーがプリインストールされた64ビットバージョンのRaspbianOSイメージも提供します。
オンボードスクリーンキーボードと簡単なQT5デモも含まれています。タッチスクリーンは応答性がありますが、Raspbian OSはモバイルオペレーティングシステムではなく、タッチスクリーン用に最適化されていないため、小さなUI要素を押すのが少し面倒な場合があります。スタイラスがあると大いに役立ちます。
テキストを入力する必要があるときにオンボード画面キーボードがポップアップし、その後消えます。設定でその動作を変更できます。したがって、reTerminalをポータブルRaspberry Piとして使用することは可能ですが、そのためには、別のOS、たとえばRaspberry Pi4で動作するUbuntutouchを確認することをお勧めしますが、現在ベータ開発段階であり、非常に実験的です。 reTerminalの主な使用例は、QT、LVGL、またはFlutterで作成されたユーザーインターフェイスを表示することです。サンプルのQTアプリケーションを起動してみましょう。これは、デバイスの仕様とパラメーター、センサーからのデータ、および架空の工場の制御ボードの例を示しています。インターフェイス要素が大きい場合、タッチスクリーンは非常に使いやすくなります。
EdgeImpulse開発プラットフォームの最新機能であるLinux展開サポートを利用します。 reTerminalに接続されたカメラでサンプルを収集し、クラウドでトレーニングして、トレーニングされたモデルをedge-impulse-linux-runnerで自動的にダウンロードして実行することで、オブジェクト検出モデルを簡単にトレーニングできます。
Edge Impulse CLIのインストール手順は、ドキュメントに記載されています。それはすべて、いくつかの簡単なステップに帰着します：
curl -sL https://deb.nodesource.com/setup_12.x | sudo bash-
sudo apt install -y gcc g ++ make build-essential nodejs sox gstreamer1.0-tools gstreamer1.0-plugins-good gstreamer1.0-plugins-base gstreamer1.0-plugins-base-apps
npm config set user root &&sudo npm install edge-impulse-linux -g --unsafe-perm
後 Edge Impulse CLIがインストールされているので、カメラが接続されていることを確認してください。単純なUSB Webカメラを使用しました。RaspberryPiカメラを使用する場合は、raspi-configで有効にすることを忘れないでください。
オブジェクト検出用のデータの収集を開始する前に、ダッシュボードで次のことを確認してください [プロジェクト情報]> [ラベル付け方法]で[バウンディングボックス（オブジェクト検出）]が選択されています。
認識したいクラスごとに少なくとも100枚の画像を撮ります。現在、[オプションの表示] – [データ取得]タブの[データのアップロード]を押すと、独自の画像をアップロードできます。ただし、バウンディングボックスの注釈はまだアップロードできないため、アップロードする画像には手動でラベルを付ける必要があります。十分な数の画像に注釈を付けたら、[インパルスの作成]に移動し、処理ブロックに[画像]を選択し、学習ブロックに[オブジェクト検出（画像）]を選択します。
1人のユーザーが収集して注釈を付けることができる画像の量は、大規模なネットワークを最初からトレーニングするのに十分ではありません。そのため、事前にトレーニングされたモデルを微調整して、新しいクラスのオブジェクトを検出します。ほとんどの場合、エポック数、学習率、自信のデフォルト値をそのままにしておくことができます。オブジェクト検出にはカスタムコードが使用されるため、より単純なモデルで可能であるため、エキスパートモードで微調整することはできません。
トレーニングはCPUで行われるため、データセット内の画像の数によっては、少し時間がかかります。あなたがそれをしている間、あなたの好きな飲み物のカップを持ってください。
新しく追加されたEdgeImpulseのLinuxサポートの最も優れた点の1つは、edge-impulse-linux-runnerです。モデルのトレーニングが終了し、検証データセット（トレーニングデータから自動的に分割される）の精度に満足したら、ライブ分類でモデルをテストしてから、デバイスにデプロイすることができます。この場合、実行するのと同じくらい簡単です
edge-impulse-linux-runner
ターミナルで。モデルが自動的にダウンロードされて準備され、推論結果がブラウザに表示されます。端末に次のような行が表示されます。
ブラウザでカメラのフィードとライブ分類を確認したいですか？ に移動します http://192.168.1.19:4912
ターミナルのリンクをクリックして、カメラのライブビューを表示します。
転送学習に使用されるバックボーンモデルはMobileNetv2SSDであり、非常に大きいため、すべての最適化を行っても、約2FPSまたは約400ミリ秒になります。フレームの場合–ビデオストリームは非常に応答性が高いように見えますが、これはすべてのフレームで推論が実行されるわけではないため、オブジェクトを検出して画像から消えると、その境界ボックスがしばらくオンのままであることがはっきりとわかります。 。 LinuxのサポートはEdgeImpulseの非常に新しい機能であるため、近い将来、多くの改善が行われ、ユーザーが注釈を付けたデータのより高速な推論とアップロードが可能になると確信しています。
ARMNN加速推論
Raspberry Pi 4は機械学習の推論に最適なボードではないことはわかっていますが、そのためのハードウェアアクセラレータがないため、リアルタイムの推論速度よりも高い速度を実現できます
a）小さいモードを使用する
b）4つのコアすべてと単一命令複数データ（SIMD）命令を利用していることを確認します。この場合、パイプライン内の複数の処理要素が複数のデータポイントで同時に操作を実行し、Armプロセッサ用のネオン最適化アーキテクチャ拡張で利用できます。
出典： reTerminal Machine Learning Demos（EdgeImpulseおよびArmNN）
製造プロセス