工業製造
産業用モノのインターネット | 工業材料 | 機器のメンテナンスと修理 | 産業プログラミング |
home  MfgRobots >> 工業製造 >  >> Manufacturing Technology >> 製造プロセス

ESP32とArduino 101加速度計でジェスチャー認識 – 簡単DIYチュートリアル

部品と材料

Arduino 101 内蔵加速度計搭載。追加部品不要。 1
Arduino UNO Arduino 101の代わりに使用可能。別途加速度計が必要。 1
Adafruit ADXL335 アナログ加速度計 Arduino 101以外を使う場合に必要(SparkFun版も可) 1
SparkFun ADXL335 トリプル軸加速度計ブレークアウト Adafruit版の代替品 1

このプロジェクトについて

概要

ESPシステムを使って、Arduinoプロジェクトに基本的なジェスチャー認識を組み込む方法を紹介します。例えば、テニスのフォアハンド・バックハンド・サーブ、ダンスの動作、ウェイトリフティングのフォームなどを認識できます。加速度計でジェスチャーを検出し、PC上のESPアプリケーションに送信。ESPはシンプルな機械学習アルゴリズムでライブデータと記録済みジェスチャー例を照合し、一致したらArduinoにメッセージを返します。個別の離散ジェスチャーのみ認識可能で、動作の質的評価はできませんが、幅広いインタラクティブ応用に使えます。

ESPジェスチャー認識アプリのダウンロード:

ステップ1: 加速度計を接続する

Arduino 101(内蔵加速度計あり)を使う場合はこのステップをスキップ。それ以外の場合、ブレークアウトボードにピンヘッダーをはんだ付けし、Arduinoに配線します。

ショートカットとして、加速度計ブレークアウトをArduino Unoのアナログ入力ピンに直接差し込み、コードで適切なピンを電源・グランドとして設定する方法もあります。

ESP32とArduino 101加速度計でジェスチャー認識 – 簡単DIYチュートリアル

またはブレッドボード経由で配線し、電源を5V/GND、X/Y/Z軸を3つのアナログ入力に接続します。

ステップ2: Arduinoコードをアップロード

以下のArduinoプログラムのいずれかを使って加速度計データを読み取り、シリアル(USB)経由でPCに送信します。ピン設定が配線と一致するか確認してください(Arduino 101の場合は内部接続済みなので不要)。ボードとシリアルポートを選択してアップロード。

ステップ3: シリアルモニターでデータ確認

シリアルモニターを9600ボーレートで開き、加速度計データが取得できているか確認。3列の数値が動きに合わせて変化すればOK。シリアルプロッターでグラフ表示も可能です。続行前にシリアルモニターとプロッターは閉じてください(ESPアプリがポートを占有できなくなるため)。

ステップ4: ESPジェスチャー認識アプリを起動しシリアルポート選択

アプリを起動し、設定メニューからArduinoに対応するシリアルポートを選択。「Raw Data」プロットにライブデータがストリーミングされます。赤=X軸、緑=Y軸、青=Z軸。

ESP32とArduino 101加速度計でジェスチャー認識 – 簡単DIYチュートリアル
ESP32とArduino 101加速度計でジェスチャー認識 – 簡単DIYチュートリアル

ステップ5: キャリブレーションサンプルを記録

加速度計を平らな面に置き、Z軸を上向きにして「1」キーを1秒ほど長押しして「Upright(直立)」サンプルを記録。次に裏返し(Z軸下向き)で「2」キーを長押しして「Upside down」サンプルを記録。これによりESPシステムが0gと1gに対応する数値を学習します。

ESP32とArduino 101加速度計でジェスチャー認識 – 簡単DIYチュートリアル

ステップ6: ジェスチャー例を記録

「Training」タブ(大文字「T」キー)でジェスチャー例を記録・読み込み。最大9種類のジェスチャーに対応。

ESP32とArduino 101加速度計でジェスチャー認識 – 簡単DIYチュートリアル

ジェスチャーを行いながら、ラベルに対応するキー(1~9)を押し続けて記録。サンプルはジェスチャー全体を含み、開始・終了前後の平坦なベースラインは短くするのがコツ。戻り動作は含めないでください(スワイプ右なら左→右のみ)。

ESP32とArduino 101加速度計でジェスチャー認識 – 簡単DIYチュートリアル

各ジェスチャー5~10サンプル程度が目安。質が量より重要。悪いサンプルは削除・トリミング・再ラベル付け可能。

ESP32とArduino 101加速度計でジェスチャー認識 – 簡単DIYチュートリアル

ステップ7: システムを訓練してジェスチャーを認識させる

例をいくつか記録したら「t」キーで訓練実行。「training successful」と表示されれば完了。ライブデータで類似ジェスチャーをすると名前がプロットに表示されます。

ESP32とArduino 101加速度計でジェスチャー認識 – 簡単DIYチュートリアル

初回でうまくいかない場合は、例を追加/削除/トリミングして再訓練(「t」キー)を繰り返して調整。

ステップ8: システム設定をチューニング

「click to open configuration」で2パラメータ調整可能。変更後は「t」で再訓練必要。

ステップ9: Arduinoプロジェクトにジェスチャー認識を組み込む

ESPが予測すると、認識したジェスチャー番号(ASCIIテキスト+改行、例: 1\n)をArduinoに送信。シリアルポートで読み取って任意の動作に繋げられます。また、TCPでlocalhost:5204にも同じ形式で送信されるため、Processing等のゲーム連携も可能。

仕組み: Dynamic Time Warping (DTW)

このESPアプリは動的時間伸縮法(DTW)を使用。ライブ信号をワープ(読み飛ばし/複製)してバリエーションを生成し、録画サンプルとの類似度をチェック。最も近い訓練サンプルを見つけ、差分が閾値未満なら一致とみなし予測出力。「variability」パラメータで閾値調整可能。

ESPはGesture Recognition Toolkit (GRT) 上に構築され、ジェスチャー認識以外にも色検出、姿勢検出、音声認識など幅広いリアルタイムセンシング応用に対応。詳細はESPのGitHubを参照。

コード

Arduino ADXL335 Code

ADXL335をArduinoに接続して読み取るコード。X軸→A5、Y軸→A4、Z軸→A3。9600ボーレートでタブ区切り・改行終端のASCIIデータをシリアル出力。

Arduino 101 Accelerometer Code

Arduino 101内蔵加速度計からデータを読み取り、9600ボーレートでタブ区切り・改行終端のASCIIデータをシリアル出力。

製造プロセス

  1. Python連携で信頼性向上: Arduino RFID勤怠管理システム
  2. Arduinoと1Sheeldで作る万能Androidリモコン──IR制御で家電を一括操作
  3. Arduinoとスマホで作るスマート電圧計 – 簡単DIYプロジェクト
  4. ESP8266・Arduino・超音波センサーで作るスマートIoTジャー:リアルタイム中身監視
  5. Arduino UNOで周波数とデューティサイクルを高精度測定
  6. FirmataとXbox OneコントローラーでArduinoローバーをシームレス操作
  7. Arduino超音波センサーとProcessingで作るリアルタイム距離測定ソナー
  8. Bolt IoTとArduino UNOでLED輝度をシームレス制御
  9. スマートなArduino制御ロボットアームの製作:簡単DIYチュートリアル
  10. Arduino Dueでマスターする音声認識と音声合成
  11. ArduinoとProcessingで作るリアルタイムデジタルコンパス