スマート手話グローブ:ジェスチャーをテキスト/音声に変換
必要な部品と材料
| 部品 | 詳細 | 数量 |
|---|---|---|
| Arduino Micro | 1 | |
| ブレッドボード | 試作用 | 1 |
| SparkFun BlueSMiRF Silver (Bluetooth) | またはHC-05等 | 1 |
| ADXL335 3軸加速度センサー | 手首の動き検出用 | 1 |
使用ツール
- Arduino IDE
このプロジェクトについて
目的・背景
聴覚・発話障害のある子どもたちが、手話を用いて普通に学習・コミュニケーションできるよう支援するデバイスです。手のジェスチャーを電気信号に変換し、マイコンでアルファベットやコマンドに変換。コミュニケーションの壁を低減する、低コスト・コンパクト・低消費電力なシステムを目指しました。
- 教育現場でのツールとして実用化を促進
- SOLE(自己組織化学習環境)の概念を教育手法に適用
社会的インパクト
- 手話グローブを教育・コミュニケーションツールとして提供。グローブ型は直感的で使いやすい
- 健常な学生に障害児への共感を育む機会を提供。「コミュニティへの還元」の重要性を学ぶ
メソドロジー(設計思考プロセス)
- ブレインストーミング
- アイデア出しとリサーチ
- プロトタイプ設計
- 構築とプログラミング (Arduino)
- 評価とテスト
コスト効率の良い製品づくりを重視しました。
スマートグローブの仕組み
アメリカ手話(ASL)の文字に対応する手のジェスチャーを検出・出力します。
送信側(グローブ側)構成:
- フレックスセンサー ×5(各指に1つずつ)— 曲げ角度に応じて抵抗値変化
- ADXL335加速度センサー — 手首の回転・傾き検出(ASLには手首動作を含む文字あり)
- Arduino Pro Micro — アナログ入力でフレックスセンサー5ch、加速度3軸を読み取り、ジェスチャーをコード化
- HC-05 Bluetoothモジュール — 受信側へ無線送信
フレックスセンサーは分圧回路で各アナログピンに接続。マイコンはこれらのアナログ値と加速度値をマッピングし、各ジェスチャーに対応するコードを生成します。
受信側: ノートPC等のBluetooth受信機。受信コードをテキスト表示、または音声合成で読み上げ。聴覚障害者向けに画面表示、視覚障害者向けに音声出力の両方に対応可能です。
成果と教育的意義
教育的成果: 21世紀型スキル(創造性、問題解決、批判的思考、プレゼンテーション)の育成。SOLE概念に基づくチームワークとモチベーション醸成。
社会的成果: 手話を知らない人ともコミュニケーション可能に。未教育の障害児への基礎文字・日常単語習得支援にも応用可。
今後の展望
- 手のサイズ・可動域差に対応する適応学習機能の追加
- Androidアプリで表示・音声出力(またはRaspberry Pi搭載)によるポータブル化
- 量産時は全回路を単一チップに集積
- 超音波センサー追加で視覚障害者支援にも展開可能
コスト: 試作機1台約6,000円。量産・改良で半額以下を見込み。他校・機関での複製利用も可能。
参考文献
- SparkFunフレックスセンサーガイド
- KSCSTプロジェクトレポート
- Cornell ECE4760 最終プロジェクト
- NIDCD アメリカ手話解説
- Arduino公式 / Deaf Library ASLリファレンス
3Dモデル
グローブ筐体の3Dモデルファイル (OBJ形式) を提供。
製造プロセス
- NeoPixelリングとArduinoで作るインタラクティブジャイロスコープLEDディスプレイ
- DIY Arduino USBゲームコントローラー - 高性能ゲームパッドを自作
- スマートブラインド:Arduinoとソーラー電源で実現する自動光制御
- Pixie: Arduino Pro Miniで作るNeoPixel腕時計 - アナログとデジタル融合のDIY光る時計
- スマート自動靴紐シューズ:発電機能内蔵で実用性抜群
- スマートなArduino制御ロボットアームの製作:簡単DIYチュートリアル
- Arduino Dueでマスターする音声認識と音声合成
- 携帯型リモート監視カメラロボット - Raspberry PiとArduinoで構築
- 学校向けスマート体温監視システム: 正確、リアルタイム、安全
- ESP32-CAMで作るAI顔認識ドアロックシステム:ローカル処理でプライバシー保護
- Arduinoで作る多チャネル・スマートバッテリー充電器:自動切替・電圧表示・近接センサー付き