TinyML on ESP32-S3: キーワードスポッティング（KWS）で音声制御デバイスを作る

部品と材料

部品	数量	備考
ESP32-S3-DevKitC-1 (N8R8: 8MB Flash, 8MB PSRAM)	1	AIアクセラレータ内蔵、PSRAM必須
INMP441 I2S MEMSマイクロフォン	1	ボトムポート、高SNR、I2S出力
MAX98357A I2S Class-Dアンプ	1	音声フィードバック用スピーカー駆動
スピーカー（4Ω 3W程度）	1	応答音声再生用
RGB LED (WS2812B)	1	状態表示（待機/検知中/実行中/エラー）
タクトスイッチ	2	ウェイクワード登録、工場リセット
LiPoバッテリ 3.7V 500mAh + TP4056	1	ポータブル運用用（オプション）
ブレッドボード/ユニバーサル基板 + 配線	1式

開発環境・フレームワーク

ESP-IDF v5.1+（VS Code + ESP-IDF Extension 推奨）
ESP-SR (Speech Recognition) フレームワーク：Espressif公式、GitHub
TensorFlow Lite for Microcontrollers (TFLM)：モデル推論エンジン
ESP-NN：ESP32-S3ベクトル命令最適化カーネル
Edge Impulse / TensorFlow / PyTorch：モデル訓練・量子化・変換
Python 3.10+：データ前処理、モデル変換スクリプト実行用

プロジェクト概要

ESP32-S3のベクトル命令拡張（ESP-NN）とPSRAMを活用し、完全オフライン・低レイテンシ・低消費電力なキーワードスポッティング（KWS：Wake Word Detection）システムを構築します。「Hey ESP」「ライトオン」「エアコン26度」等の任意ウェイクワードをローカルで検出し、後続の音声コマンド認識（ASR）やデバイス制御をトリガーします。クラウド不要、プライバシー完全確保、応答時間 < 200ms を実現します。

なぜESP32-S3 + TinyMLなのか

TFLMデリゲート：ESP-NNをTFLMバックエンドとして登録、自動最適化

要素	メリット
Xtensa LX7 デュアルコア 240MHz	DSP命令 + ベクトル命令（SIMD）で行列演算高速化
8MB PSRAM	モデル重み・中間バッファ・オーディオバッファを大容量確保
ESP-NNライブラリ	Conv2D, DepthwiseConv, FullyConnected, LSTM/GRU等を最適化
I2S周辺機構	マイク入力・スピーカー出力をDMAでゼロコピー転送
ESP-SRフレームワーク	AFE（Audio Front-End: AEC/NS/AGC/BF）、KWS、ASR、TTSを統合提供

システムアーキテクチャ


+------------------+     I2S      +------------------+     RAM      +------------------+
|  INMP441 Mic     | ──────────▶  |  ESP32-S3        | ◀──────────▶ |  PSRAM (8MB)     |
|  (PDM→I2S)       |   Audio In   |  (DMA + I2S)     |   Audio Ring |  Model Weights   |
+------------------+              |                  |   Buffer     |  Feature Buffers |
                                 |  +------------+  |              |  Tensor Arena    |
                                 |  | AFE (DSP)  |  |              +------------------+
                                 |  | - AEC      |  |                     ▲
                                 |  | - NS       |  |                     │
                                 |  | - AGC      |  |              +------+------+
                                 |  | - BF       |  |              │             │
                                 |  +----+-------+  |              ▼             ▼
                                 |       │         |       +------------------+  +------------------+
                                 |       ▼         |       |  KWS Model       |  |  ASR Model       |
                                 |  Feature Extract│       |  (DS-CNN /       |  |  (Whisper tiny / |
                                 |  (MFCC/LogMel)  │       |   CRNN /        |  |   Conformer)     |
                                 |       │         |       |   MatchboxNet)   |  |                  |
                                 |       ▼         |       +--------+---------+  +--------+---------+
                                 |  TFLM Inference │                │                    │
                                 |  (ESP-NN accel) │                ▼                    ▼
                                 |       │         |       +------------------+  +------------------+
                                 |       ▼         |       |  Command Parser  |  |  Action Executor |
                                 |  Post-process   |       |  (Intent/Slot)   |  |  (GPIO/MQTT/    |
                                 |  (Score/Thresh) │       +--------+---------+  |   Matter/HTTP)   |
                                 |       │         |                │            +------------------+
                                 |       ▼         |                ▼
                                 |  Decision Logic │       +------------------+
                                 |  (Wake/Command) │       |  TTS / Feedback  |
                                 +------------------+       |  (MAX98357A)     |
                                                            +------------------+

ステップバイステップ実装ガイド

Step 1: 開発環境セットアップ


# ESP-IDF v5.1 インストール（Windows/Mac/Linux共通）
# VS Code + ESP-IDF Extension が最も簡単
# またはコマンドライン:
git clone --recursive https://github.com/espressif/esp-idf.git -b v5.1 --depth 1
cd esp-idf
./install.sh esp32s3
. ./export.sh

# ESP-SR 取得（コンポーネントとして追加）
cd ~/esp
git clone --recursive https://github.com/espressif/esp-sr.git -b v1.4 --depth 1
# プロジェクトの CMakeLists.txt で extra_component_dirs に追加

Step 2: オーディオハードウェア配線

信号	INMP441	MAX98357A	ESP32-S3 GPIO
I2S CLK (BCLK)	SCK	BCLK	GPIO 12
I2S WS (LRCLK)	WS	LRC	GPIO 11
I2S Data In	SD	--	GPIO 10
I2S Data Out	--	DIN	GPIO 9
VCC	3.3V	3.3V	3.3V
GND	GND	GND	GND
L/R Select	GND (Left)	--	--
GAIN	--	GND (12dB)	--
SD (Shutdown)	--	3.3V (Active High)	GPIO 13

注意: I2SピンはGPIOマトリクス経由で任意割当可能だが、ハイパフォーマンス用に上記推奨。PDMマイク（SPH0645等）使用時はPDM-to-I2S変換ハードウェア（ESP32-S3内蔵PDM周辺機能）使用可能。

Step 3: ESP-SRプロジェクトテンプレートから開始


# ESP-SRの例題をベースにプロジェクト作成
cd ~/esp/esp-sr/examples/kws
idf.py set-target esp32s3
idf.py menuconfig
# 主な設定:
# - Component config → ESP Speech Recognition → Model Configuration
#   * KWS Model: "ds_cnn" (推奨: 高速・軽量) または "crnn" (高精度)
#   * Enable Multi-net: Y (複数ウェイクワード対応)
# - Audio Front-End Configuration
#   * AEC Enable: Y (スピーカー出力ありなら必須)
#   * NS Enable: Y (ノイズ抑制)
#   * AGC Enable: Y (自動利得制御)
#   * BF Enable: N (単マイクなら不要)
# - Partition Table: "custom" (モデルサイズに合わせ 4MB+ アプリパーティション)
# - PSRAM: Enabled, 8MB
idf.py build flash monitor

Step 4: カスタムウェイクワードモデル作成（Edge Impulse活用）

標準モデル（"Hi Lexin", "Hi ESP"等）以外の独自ワードを使う場合：

データ収集：Edge Impulse Studioでプロジェクト作成 → 「Audio」ブロック → 録音またはアップロード（ターゲットワード 50-100サンプル、背景音 200-500サンプル、その他ワード 100サンプル）
前処理：サンプリング 16kHz、フレーム長 1024ms、スペクトログラム（MFCC 13係数または Log-Mel 40バンド）
モデル設計：DS-CNN（Depthwise Separable CNN、~40KB）、MatchboxNet（~100KB）、CRNN（~200KB）から選択。ESP32-S3ならDS-CNNが最適バランス。
訓練・量子化：Post-training quantization (INT8) 有効化、代表データセットでキャリブレーション
エクスポート：.tflite (INT8量子化済み) ダウンロード
ESP-SR統合：model/ ディレクトリに配置、model_config.h でモデル名・入力形状・量子化パラメータ指定、idf.py build でファームウェアに組み込み

Step 5: アプリケーションロジック実装


// main/app_task.cpp - KWS検知後のアクション制御
#include "esp_sr.h"
#include "esp_mn_models.h"
#include "driver/gpio.h"
#include "driver/led_strip.h"
#include "mqtt_client.h"  // または Matter/HTTP クライアント

static const char* TAG = "KWS_APP";

// コマンド定義
typedef enum {
    CMD_NONE = 0,
    CMD_LIGHT_ON,
    CMD_LIGHT_OFF,
    CMD_AC_SET_TEMP,
    CMD_FAN_ON,
    CMD_FAN_OFF,
    CMD_QUERY_TEMP,
} cmd_id_t;

// コマンド文字列マッピング（多言語対応可）
static const char* cmd_strings[] = {
    [CMD_LIGHT_ON] = "ライトオン",
    [CMD_LIGHT_OFF] = "ライトオフ",
    [CMD_AC_SET_TEMP] = "エアコン温度",
    [CMD_FAN_ON] = "扇風機オン",
    [CMD_FAN_OFF] = "扇風機オフ",
    [CMD_QUERY_TEMP] = "温度教えて",
};

// アクション実行関数
static void execute_command(cmd_id_t cmd, int arg) {
    switch (cmd) {
        case CMD_LIGHT_ON:
            gpio_set_level(GPIO_LIGHT_RELAY, 1);
            play_tts("ライトをオンにしました");
            break;
        case CMD_LIGHT_OFF:
            gpio_set_level(GPIO_LIGHT_RELAY, 0);
            play_tts("ライトをオフにしました");
            break;
        case CMD_AC_SET_TEMP:
            // IRリモコン送信またはMQTT公開
            char topic[64], payload[32];
            snprintf(topic, sizeof(topic), "home/ac/%d/set", arg);
            snprintf(payload, sizeof(payload), "{\"temp\":%d}", arg);
            mqtt_publish(topic, payload);
            play_tts_printf("エアコンを%d度に設定しました", arg);
            break;
        // ... 他コマンド
        default:
            play_tts("コマンドが理解できませんでした");
    }
}

// KWSコールバック（ESP-SRから呼ばれる）
static void kws_callback(esp_mn_state_t state, void* arg) {
    if (state == ESP_MN_STATE_DETECTED) {
        esp_mn_results_t* result = (esp_mn_results_t*)arg;
        int cmd_id = result->phrase_id;  // モデル内インデックス
        float score = result->score;
        
        ESP_LOGI(TAG, "KWS Detected: phrase_id=%d, score=%.2f", cmd_id, score);
        
        // 閾値チェック（モデルごとに調整）
        if (score < 0.85f) {
            ESP_LOGW(TAG, "Score below threshold, ignoring");
            return;
        }
        
        // LEDフィードバック：検知→青点滅
        led_strip_set_pixel(led_strip, 0, 0, 0, 255);
        led_strip_refresh(led_strip);
        
        // コマンド実行
        if (cmd_id >= CMD_LIGHT_ON && cmd_id <= CMD_QUERY_TEMP) {
            execute_command((cmd_id_t)cmd_id, 0);  // 引数付きは別途パース
        } else {
            // ASR（音声認識）モードへ遷移して詳細コマンド待受
            esp_sr_start_asr();
        }
    } else if (state == ESP_MN_STATE_TIMEOUT) {
        ESP_LOGI(TAG, "KWS timeout, back to listening");
        led_strip_set_pixel(led_strip, 0, 0, 255, 0);  // 待機：緑
        led_strip_refresh(led_strip);
    }
}

void app_main() {
    // ... ハードウェア初期化（GPIO, I2S, LED Strip, Wi-Fi, MQTT等） ...
    
    // ESP-SR初期化
    esp_sr_config_t sr_config = {
        .afe_config = &afe_config_default,
        .model_config = &model_config_kws,  // カスタムモデル指定
        .kws_callback = kws_callback,
        .asr_callback = asr_callback,       // 詳細コマンド認識用
        .tts_callback = tts_callback,
    };
    esp_sr_init(&sr_config);
    
    // KWS開始（常時待受）
    esp_sr_start_kws();
    led_strip_set_pixel(led_strip, 0, 0, 255, 0);  // 待機：緑
    led_strip_refresh(led_strip);
    
    // メインループ（他タスク監視、OTA、ヘルスチェック等）
    while (1) {
        vTaskDelay(pdMS_TO_TICKS(1000));
        // ヒープ/スタック監視、Wi-Fi再接続、MQTT keepalive等
    }
}

Step 6: 音声フィードバック（TTS）統合

ESP-SRには軽量TTS（中国語/英語中心）が含まれるが、日本語対応には別途軽量エンジン（ESP32_TTS等）またはプリ録音WAVファイル再生（SDカード/フラッシュからI2S DMA転送）が現実的。

性能・リソース使用量（実測値・目安）

項目	DS-CNN (KWS)	CRNN (KWS)	MatchboxNet (KWS)	Whisper Tiny (ASR)
モデルサイズ (INT8)	~42 KB	~180 KB	~110 KB	~15 MB (INT8) / 39 MB (FP16)
PSRAM使用量	~200 KB	~500 KB	~400 KB	~30 MB (推論時ピーク)
推論レイテンシ	~12 ms	~35 ms	~28 ms	~1.5-3 秒
RAM使用量 (スタック込)	~80 KB	~150 KB	~120 KB	~2 MB
精度 (自社データ)	92% / 3% FAR	96% / 1% FAR	95% / 2% FAR	WER ~15% (日本語)
常時稼働電流	~18 mA	~22 mA	~20 mA	~45 mA (ASR起動時のみ)

※ESP32-S3 @ 240MHz, PSRAM 80MHz, TFLM + ESP-NN delegate, I2S 16kHz 16bit mono

実運用での工夫・ベストプラクティス

二段階認識：KWS（常時待受、超軽量） → 検知時のみASR（重いモデル）起動。平常時消費電力を最小化。
AEC（エコーキャンセラ）必須：スピーカーからの音声がマイクに回り込むと誤検知多発。ESP-SRのAFEでAEC有効化、参照信号をI2S出力から取得。
ノイズロバストネス：背景音混合データで訓練（MS-SNSD, DEMAND, 自宅録音等）、SpecAugment適用、量子化Aware Training
複数ウェイクワード：Multi-netモードで「Hey ESP」「OK Device」等複数登録、フレーズIDで分岐
継続学習/適応：誤検知/未検知サンプルをデバイスローカルで蓄積、定期的にエッジ再訓練（TFLM MicroTraining）またはクラウド再訓練→OTA配布
プライバシー設計：生音声・特徴量をフラッシュ/PSRAMに残さない、推論後即破棄、ログはコマンドID/スコア/時刻のみ

トラブルシューティング

症状	原因・対処
全く検知しない	マイク配線確認（I2Sピン/クロック/フォーマット）、ゲイン設定（AFEのAGCターゲットレベル）、モデル入力形状(サンプルレート/フレーム長/特徴量次元)一致確認
誤検知頻発	閾値上方調整、AEC/NS強化、背景音データ追加訓練、最小継続フレーム数設定
応答が遅い	PSRAMクロック確認（80MHz）、ESP-NNデリゲート有効確認（ログで "ESP-NN delegate created"）、Tensor Arenaサイズ十分確保
メモリ不足でクラッシュ	Partition Tableでappパーティション拡大（4MB→8MB）、PSRAM確保、モデルサイズ削減（プルーニング/蒸留）
音声出力にノイズ	I2Sクロック設定（MCLK=256fs）、MAX98357AのSDピン制御、電源ノイズ（アナログ/デジタルGND分離）

発展アイデア

音源定位＋ビームフォーミング：デュアル/クアッドマイクアレイ（ESP32-S3は2ch I2S×2対応）でDOA推定、指向性形成
話者識別（Speaker Verification）：x-vector/ECAPA-TDNN軽量化モデルで「誰が話したか」識別、パーソナライズ応答
感情/ストレス検出：プロソディ特徴から簡易推定、照明/音楽連動
Matter/Thread連携：KWS検知→Matterコマンド発行でマルチベンダーデバイス制御
フェデレート学習：複数デバイスでローカル勾配計算、サーバー集約でグローバルモデル更新、プライバシー保持しつつ精度向上

まとめ

ESP32-S3は、TinyML推論に特化したハードウェア（ベクトル命令、大容量PSRAM、高速I2S/DMA）と、成熟したソフトウェアスタック（ESP-SR, TFLM, ESP-NN）が揃っており、「クラウド不要の音声AIエッジデバイス」を現実的なコスト・電力・開発労力で実現できる数少ないプラットフォームです。本プロジェクトで示したKWS＋二段階ASR構成は、スマートホームコントローラ、産業用音声操作パネル、ウェアラブルアシスタント、ロボット音声インターフェースなど、幅広い応用の基盤となります。独自ウェイクワードの作成から量子化・デプロイまで、Edge Impulse等のノーコードMLツールとESP-IDFのシームレスな統合により、ML非専門家でも実装可能になっています。これからの「音声ファースト」なIoTデバイス開発のスタートラインとして、最適なリファレンスになるでしょう。

Raspberry Pi Pico Wで作るMatter対応スマートプラグ：Thread/BLE/CLA併用で相互運用性確保自動レンジ切替対応静電容量メーター (10pF〜10µF) - Arduino Nano で簡単自作

製造プロセス

3Dプリント

自動制御システム

産業技術