工業製造
産業用モノのインターネット | 工業材料 | 機器のメンテナンスと修理 | 産業プログラミング |
home  MfgRobots >> 工業製造 >  >> Manufacturing Technology >> 産業技術

Google AIが騒がしい場所で特定話者の声を分離、視覚・聴覚信号融合で実現

Googleが、混雑した場所で特定話者の声にフォーカスするAIを開発しました。視覚・聴覚両信号を組み合わせ音声を分離し、動画を分析して特定人物の声を強調、他音を抑制します。一般的な動画フォーマット(単一音声トラック)で動作し、ユーザーが動画内の特定顔を選択するか、文脈ベースでアルゴリズムが自動選択します。

学習プロセスとネットワーク構造

YouTubeのトークショー・講義動画から大量の高品質クリップを収集、2,000時間分をフィルタリング(観客雑音・BGM・背景干渉なしのクリーン音声)。これらから顔動画・関連音声・背景雑音の組み合わせを作成し、マルチストリーム畳み込みニューラルネットワークで混合音声動画から個別話者音声を分離するよう訓練。

各フレームの音声スペクトログラム表現と話者顔サムネイルをネットワーク入力。聴覚・視覚信号をエンコード・融合し単一視聴覚コンテンツを生成。同時に個別話者用時間周波数マスクを学習し、ノイズ入力スペクトログラムに乗算してクリーン音声を出力、干渉・雑音を抑制します。

実装詳細と応用

TensorFlow実装。波形・短時間フーリエ変換にTF操作使用。マスク層以外全畳み込み層にReLU活性化、バッチ正規化適用。バッチサイズ6、500万バッチ訓練。音声16kHzリサンプリング、ステレオ→モノ変換。顔埋め込み25fpsリサンプリング、欠損フレームはゼロベクトル補完。

応用範囲は広大:動画内音声認識、音声強調(複数話者時特に)、マイクタイプの多様化。YouTubeとHangoutsへの導入がまず期待され、将来は音声増幅イヤホンやGoogle Glassへ。重複話者の動画字幕システム改善(音声認識前処理として)にも潜在的価値があり、聴覚障害者のテレビ会議参加・映画鑑賞を容易にします。

産業技術

  1. オルタネーター巻き替え前の3つの重要な質問
  2. IoTのメリットと限界:実用的な応用と主要な課題
  3. ポリウレタンは本当に防水か?吸水性を理解する
  4. 最もコスト効率の良いPCBメーカーを見極める9つの実証済み戦略
  5. 3Dプリンティングで迅速試作:United Plastic Moldersが3日でプロトタイプ納品
  6. 電圧と電流の理解:電気流の基礎
  7. ハイブリッド車バッテリーパック向け最適抵抗溶接電極の選定
  8. LEDスキャナー自作ガイド:MOSFET・Arduino・TLC5940で作る16チャンネルチェイサー
  9. 効果的なエリアモニタリングシステムに不可欠なトップ10必須機能
  10. はんだごて温度コントローラ自作:DIAC/TRIACで安全・確実・調整可能な回路設計
  11. インダストリー4.0時代におけるDevOpsによるワークフロー加速