Speathe：麻痺ユーザーのための呼吸駆動コミュニケーション

Speathe：麻痺ユーザーのための呼吸駆動コミュニケーション

Speatheは、ユーザーの呼吸パターンを可聴音声とテキストに変換する革新的で進化し続けるコミュニケーションプラットフォームです。麻痺により音声を失った個人のために設計され、メッセージ、感情、日常フレーズを伝えるための控えめでハンズフリーな方法を提供します。

ハードウェアコンポーネント

スピーカー

クリアな音声出力のための3W、4Ωスピーカー。

Androidデバイス

React Nativeモバイルアプリケーションを実行。

Walabot

呼吸エネルギーを取得し、短い呼吸と長い呼吸に分類する音響センサー。

Raspberry Pi 3 Model B

PythonバックエンドとFlaskサーバーを実行。

ソフトウェアスタック

• Python 3 - バックエンドロジックとWalabot統合用。
• Flask - Raspberry Pi上の軽量Webサーバー。
• React Native - クロスプラットフォームモバイルインターフェース。

仕組み

呼吸検出とモールス符号類似エンコーディング

Walabotセンサーが各呼吸のエネルギーを測定。短いキャリブレーション後、呼吸エネルギーを閾値と比較し、呼吸を短い（ドット）または長い（ダッシュ）に分類。呼吸シーケンスをモールス符号パターン（例：「-.-.-」）に変換。Raspberry Piがこのパターンを事前定義された文字やフレーズと照合。

事前定義略語

入力労力を減らすため、一般的な3文字略語（例：ABC、XYZ）をフルフレーズに直接マッピング。システムが略語を検出すると、モバイルアプリに展開テキストが即座に表示されます。

サーバーアーキテクチャ

Raspberry Piが固定IPでFlaskサーバーをホスト。呼吸由来データを受信し、現在の「メッセージ」変数を保存、モバイルアプリがポストまたはポーリングするためのエンドポイントを公開。

sudo nano /etc/dhcpcd.conf # ファイル末尾に追加
interface eth0
static ip_address=192.168.43.211
static routers=192.168.43.1
static domain_name_servers=192.168.43.1
interface wlan0
static ip_address=192.168.43.211
static routers=192.168.43.1
static domain_name_servers=192.168.43.1
# Ctrl+Oで保存、Ctrl+Xで終了
sudo reboot

モバイルアプリケーション

React NativeアプリがFlaskエンドポイントを継続的にポーリングし、最新メッセージを取得。空でない文字列を受信すると、テキストを表示し音声再生。ユーザーはアプリに入力して返信可能で、テキストをサーバーにポスト。サーバーはスピーカーを通じて返信を発声し、双方向コミュニケーションを実現。

実装ステップ

1. Python 3をRaspberry Piにインストール。
2. お使いのOS用Walabot SDKをダウンロード。同梱のBreathingExample.pyでセンサーデータ取得を理解。
3. 上記のようにRaspberry PiでFlaskサーバーをセットアップし、固定IPを設定。
4. React Nativeアプリをビルドし、サーバーURLをPiのIPに更新。
5. WalabotをPi、スピーカー、AndroidデバイスをWi-Fiで接続。
6. アプリを起動、簡易キャリブレーションを実行、呼吸で会話開始。

テスト

Raspberry PiでPythonバックエンドを実行、固定IPが到達可能か確認、AndroidデバイスにAPKを展開。アプリを開き、呼吸パターンを合わせ、呼吸からテキストへのリアルタイム変換を観察。

より詳細なコード例とデバッグヒントは、リポジトリのドキュメントを参照してください。

コミュニティに参加

開発者、研究者、医療従事者の皆様をSpeatheの進化への貢献に招待します。共に、麻痺コミュニティのための堅牢でアクセス可能なコミュニケーション支援を創造できます。

連絡先とリソース

• Walabot APIドキュメント: https://walabot.com/api/_pythonapi.html
• Python 3ダウンロード: https://www.python.org/downloads/
• React Native: https://reactnative.dev/