ESP32とArduino 101加速度計でジェスチャー認識 – 簡単DIYチュートリアル
部品と材料
| Arduino 101 | 内蔵加速度計搭載。追加部品不要。 | 1 |
| Arduino UNO | Arduino 101の代わりに使用可能。別途加速度計が必要。 | 1 |
| Adafruit ADXL335 アナログ加速度計 | Arduino 101以外を使う場合に必要(SparkFun版も可) | 1 |
| SparkFun ADXL335 トリプル軸加速度計ブレークアウト | Adafruit版の代替品 | 1 |
このプロジェクトについて
概要
ESPシステムを使って、Arduinoプロジェクトに基本的なジェスチャー認識を組み込む方法を紹介します。例えば、テニスのフォアハンド・バックハンド・サーブ、ダンスの動作、ウェイトリフティングのフォームなどを認識できます。加速度計でジェスチャーを検出し、PC上のESPアプリケーションに送信。ESPはシンプルな機械学習アルゴリズムでライブデータと記録済みジェスチャー例を照合し、一致したらArduinoにメッセージを返します。個別の離散ジェスチャーのみ認識可能で、動作の質的評価はできませんが、幅広いインタラクティブ応用に使えます。
ESPジェスチャー認識アプリのダウンロード:
- Mac: ESP-Gestures-Mac-20161028.zip
- Windows: ESP-Gestures-Win-20161028.zip(Visual C++ Redistributable Update 3も必要)
- Ubuntu: ESP-Gestures-Ubuntu-20161028.tar.gz
- サンプルジェスチャー: ForehandBackhandServe.grt
ステップ1: 加速度計を接続する
Arduino 101(内蔵加速度計あり)を使う場合はこのステップをスキップ。それ以外の場合、ブレークアウトボードにピンヘッダーをはんだ付けし、Arduinoに配線します。
ショートカットとして、加速度計ブレークアウトをArduino Unoのアナログ入力ピンに直接差し込み、コードで適切なピンを電源・グランドとして設定する方法もあります。

またはブレッドボード経由で配線し、電源を5V/GND、X/Y/Z軸を3つのアナログ入力に接続します。
ステップ2: Arduinoコードをアップロード
以下のArduinoプログラムのいずれかを使って加速度計データを読み取り、シリアル(USB)経由でPCに送信します。ピン設定が配線と一致するか確認してください(Arduino 101の場合は内部接続済みなので不要)。ボードとシリアルポートを選択してアップロード。
ステップ3: シリアルモニターでデータ確認
シリアルモニターを9600ボーレートで開き、加速度計データが取得できているか確認。3列の数値が動きに合わせて変化すればOK。シリアルプロッターでグラフ表示も可能です。続行前にシリアルモニターとプロッターは閉じてください(ESPアプリがポートを占有できなくなるため)。
ステップ4: ESPジェスチャー認識アプリを起動しシリアルポート選択
アプリを起動し、設定メニューからArduinoに対応するシリアルポートを選択。「Raw Data」プロットにライブデータがストリーミングされます。赤=X軸、緑=Y軸、青=Z軸。


ステップ5: キャリブレーションサンプルを記録
加速度計を平らな面に置き、Z軸を上向きにして「1」キーを1秒ほど長押しして「Upright(直立)」サンプルを記録。次に裏返し(Z軸下向き)で「2」キーを長押しして「Upside down」サンプルを記録。これによりESPシステムが0gと1gに対応する数値を学習します。

ステップ6: ジェスチャー例を記録
「Training」タブ(大文字「T」キー)でジェスチャー例を記録・読み込み。最大9種類のジェスチャーに対応。

ジェスチャーを行いながら、ラベルに対応するキー(1~9)を押し続けて記録。サンプルはジェスチャー全体を含み、開始・終了前後の平坦なベースラインは短くするのがコツ。戻り動作は含めないでください(スワイプ右なら左→右のみ)。

各ジェスチャー5~10サンプル程度が目安。質が量より重要。悪いサンプルは削除・トリミング・再ラベル付け可能。

ステップ7: システムを訓練してジェスチャーを認識させる
例をいくつか記録したら「t」キーで訓練実行。「training successful」と表示されれば完了。ライブデータで類似ジェスチャーをすると名前がプロットに表示されます。

初回でうまくいかない場合は、例を追加/削除/トリミングして再訓練(「t」キー)を繰り返して調整。
ステップ8: システム設定をチューニング
「click to open configuration」で2パラメータ調整可能。変更後は「t」で再訓練必要。
- Variability(変動許容度): 録画例とどれだけ異なっていても認識するか。高いほど寛容。認識が厳しすぎるなら増やし、誤認識が多いなら減らす(悪い例を削除する方が良い場合も)。
- Timeout(タイムアウト): 認識後、次の認識まで待機する時間(ミリ秒)。連続ジェスチャーを見逃すなら短く、1回のジェスチャーで複数認識されるなら長く。
ステップ9: Arduinoプロジェクトにジェスチャー認識を組み込む
ESPが予測すると、認識したジェスチャー番号(ASCIIテキスト+改行、例: 1\n)をArduinoに送信。シリアルポートで読み取って任意の動作に繋げられます。また、TCPでlocalhost:5204にも同じ形式で送信されるため、Processing等のゲーム連携も可能。
仕組み: Dynamic Time Warping (DTW)
このESPアプリは動的時間伸縮法(DTW)を使用。ライブ信号をワープ(読み飛ばし/複製)してバリエーションを生成し、録画サンプルとの類似度をチェック。最も近い訓練サンプルを見つけ、差分が閾値未満なら一致とみなし予測出力。「variability」パラメータで閾値調整可能。
ESPはGesture Recognition Toolkit (GRT) 上に構築され、ジェスチャー認識以外にも色検出、姿勢検出、音声認識など幅広いリアルタイムセンシング応用に対応。詳細はESPのGitHubを参照。
コード
Arduino ADXL335 Code
ADXL335をArduinoに接続して読み取るコード。X軸→A5、Y軸→A4、Z軸→A3。9600ボーレートでタブ区切り・改行終端のASCIIデータをシリアル出力。
Arduino 101 Accelerometer Code
Arduino 101内蔵加速度計からデータを読み取り、9600ボーレートでタブ区切り・改行終端のASCIIデータをシリアル出力。
製造プロセス
- Python連携で信頼性向上: Arduino RFID勤怠管理システム
- Arduinoと1Sheeldで作る万能Androidリモコン──IR制御で家電を一括操作
- Arduinoとスマホで作るスマート電圧計 – 簡単DIYプロジェクト
- ESP8266・Arduino・超音波センサーで作るスマートIoTジャー:リアルタイム中身監視
- Arduino UNOで周波数とデューティサイクルを高精度測定
- FirmataとXbox OneコントローラーでArduinoローバーをシームレス操作
- Arduino超音波センサーとProcessingで作るリアルタイム距離測定ソナー
- Bolt IoTとArduino UNOでLED輝度をシームレス制御
- スマートなArduino制御ロボットアームの製作:簡単DIYチュートリアル
- Arduino Dueでマスターする音声認識と音声合成
- ArduinoとProcessingで作るリアルタイムデジタルコンパス