麻痺患者の脳信号から自然な音声を合成するAI、RNNで語彙無制限・自然話速実現
カリフォルニア大学サンフランシスコ校の研究チームが、脳皮質信号から発声器官(唇・舌・顎・喉頭)の運動動態を介して音声を直接合成するRNNを開発。てんかん治療中の5名から高密度ECoG信号を記録、音読時の皮質信号と音声で訓練しました。
エンコーダ-デコーダ構造で音響直接生成
積層深層エンコーダ-デコーダが脳信号→発声動態→音響へ変換。ADAMオプティマイザ、バッチサイズ256/25で2段階訓練。25分の音声データで満足性能、データ追加で継続向上。話者非依存の運動動態表現を獲得し、モデル知識の転移が可能です。
既存支援デバイスを超える利点
文字単位入力(10語/分)でなく、自然話速(150語/分)で無制限語彙発話可能。ピッチ・イントネーション等韻律情報も保持。発声運動皮質処理が残存する患者には直感的習得が期待されます。
参考文献: Nature | DOI:10.1038/s41586-019-1119-1 | UC San Francisco
産業技術
- 人工ニューラルネットワークが無線通信性能を向上
- ロボットが触覚で90種類以上の物体を識別、視覚・触覚融合のマルチモーダルAI
- AIがアルツハイマー病を6年前に100%精度で予測、PET画像深層学習で実現
- AIが線虫のレーザー刺激応答行動を予測、「アイザック・ニュートン」アルゴリズムで生物動力学をモデル化
- AIが世界海洋の93.7%を5つの動的領域に分類、支配的物理パラメータを特定
- AIが考案した世界初のスポーツ「スピードゲート」が誕生
- AIが量子優位性を予測:ニューラルネットワークでシステム挙動を予見
- AI、機械学習、ディープラーニングの違いを徹底解説
- サムスンAI、単一写真からリアルな会話アバターを生成
- 小売におけるAI:一過性の流行ではなく実証済みのメリット
- AIが日常生活をどうシンプルにするか:スマート暖房からシームレスな制御まで