FacebookがMelNet発表:任意の声を高精度で複製するAI
近年機械学習技術は大きく進歩。物体・顔認識、リアル画像生成で良好な成果。しかし音声ではAIは失望的。最高峰テキスト読み上げシステムでも抑揚変化等基本機能欠如。スティーブン・ホーキングの機械音声聞いたことありますか?時々文理解困難です。
Facebook AI Research科学者たちが、既存テキスト読み上げシステム限界克服手法を開発。生成モデル「MelNet」で人間抑揚を驚異的精度で生成。事実上誰の声でも流暢に話せます。
MelNetと既存機械音声の違い
ほとんど深層学習アルゴリズムは大規模音声データベースで訓練し実話パターン再生。主要問題はデータタイプ。通常音声波形記録で訓練され、これらは劇的に異なるタイムスケールで複雑構造を持ちます。
音声波形は音振幅の時間変化表現:1秒音声に数万タイムステップ。複数スケールで特定パターン反映。
既存波形生成モデル(SampleRNN、WaveNet等)は数分の1秒しかバックプロパゲート不可。したがって数秒スケールで出現する高位構造を捕捉不能。
MelNetは音声波形でなくスペクトログラム(2D時間周波数表現)で深層学習ネットワーク訓練。スペクトログラムは音声周波数全スペクトラムと時間変化を示します。
同一4秒音声コンテンツのスペクトログラムと波形パターン
1D時間領域波形が1変数(振幅)時間変化捕捉するのに対し、スペクトログラムは異なる周波数変化捕捉。音声情報がスペクトログラムにより密にパックされます。
これによりMelNetは数秒間一貫性ある無条件音声・音楽サンプル生成可能。条件付き音声生成とテキスト読み上げ合成もエンドツーエンドで可能。
Reference: arXiv:1906.01083 | GitHub
情報損失削減と過度平滑化制限のため、高解像度スペクトログラムモデリングと高表現力自己回帰モデル使用。
印象的な結果
多数TEDトークでMelNet訓練し、話者声でランダムフレーズを数秒再生可能に。ビル・ゲイツ声使用例2つ:
-
https://www.rankred.com/wp-content/uploads/2019/07/Ai-Voice-2-port.mp3
「ポートはスモーキーな味わいの強いワインです。」
https://www.rankred.com/wp-content/uploads/2019/07/Ai-voice-.mp3
「物事が悪い方向に向かうと我々は眉をひそめる。」
更多例子在GitHub。MelNetは驚異的にリアルな音声クリップ生成可能だが、長文・段落生成は不能。それでもコンピュータ-人間相互作用改善可能。多くの顧客対応会話は短フレーズ。MelNetで自動化や現行自動音声システム置換で発信者体験向上。
負面では、フェイク音声コンテンツ新時代の懸念。他AI進歩同様、答えより倫理的疑問提起。
産業技術
- KBコンポーネンツ、スイスログの自動化ソリューションで物流効率を向上
- KUKA KMP 1500:精密搬送と安全性を両立した自律移動プラットフォーム
- スイッチ付き回路:基本電気回路の実践ガイド
- Facebook、動画指標の虚偽表示で集団訴訟に直面
- トラックTRL 2460SX:マニュアル操作とCNC精度を両立する汎用旋盤
- BLEオーディオと常時音声認識:スマートイヤホンの未来
- ルネサス、仮想化支援安全機能搭載28nm車載MCUを発表
- 省エネ・常時オン音声コマンドシステムの設計
- 開発キットとリファレンスデザインでAlexa統合を加速
- 低消費電力シリコン蝸牛が超効率音声起動センシングを実現
- オーディオエッジプロセッサー:IoTデバイスへのシームレスな音声統合の鍵