Facebook AIが音楽をジャンル・楽器変換、万能音楽翻訳ネットワークを開発
Facebook AI研究チームが、聞いた音楽を様々なスタイル、ジャンル、楽器で再生する「万能音楽翻訳ネットワーク」を開発しました。手拍子や口笛など未知の音楽ソースも処理し、高品質オーディオを生成できます。
2つの最新技術を融合
- 自己回帰モデルによる高品質オーディオ合成
- 非教師ありでのドメイン間変換
自己回帰モデルをデコーダーとして訓練し、高品質・リアルなオーディオ生成を実現。第2技術により、多数楽器の大規模データセットが必要な教師あり学習の問題を回避しました。全入力に万能エンコーダーを適用し、ネットワーク全体再訓練の負担を排除。未知音楽ドメインを既知ドメインへ変換可能にしました。
ドメイン混淆ネットワークで訓練
ドメイン固有データがエンコードされないよう、万能エンコーダーをドメイン混淆ネットワーク経由で訓練。入力信号(音声フォーマット)をランダム局所ピッチ変調で歪ませ、デノイジングオートエンコーダーとして訓練することで、元の歪みなし信号を復元可能に。ドメイン外入力信号を適切な出力ドメインへ射影するよう段階的に学習します。
6種類のクラシック音楽ドメイン、数千サンプルで訓練。cuDNN加速PyTorchを8基のNVIDIA Tesla V100 GPUで実行し、8日間で完了。
成果と展望
プロ音楽家には及ばないものの、リスナーが原音とAI生成音を区別困難なケースも多数。未知音楽ソース(手拍子、口笛)を効果的に処理し高品質出力。新楽器追加時にネットワーク全体再訓練不要。自動作曲・書き起こしなど複雑タスクへの道を開く可能性があり、潜在空間サイズを縮小すればデコーダーをより「創造的」にし、原音との関連を失った自然な出力生成も可能です。
産業技術
- トップ57資産追跡ソフトウェア&ツール:設備・物理資産を効率管理
- 工具メーカーが競争に勝つための革新戦略
- ロストワックス鋳造:金属加工における精度と汎用性を解き放つ
- ベン図からカルノー図への変換:ステップバイステップガイド
- 最先端LCD革新:視野角拡大と色再現性向上
- イージーインストール・クリップVBRでオフショア効率を向上
- 複雑形状パーツ向け高度CNC治具設計のエキスパートガイド
- デジタル連携サプライチェーンで有形・無形の節約を実現
- AIが血液検査から喫煙による生物学的老化を定量化、男性1.5倍・女性2倍の加速
- 高品質PCB製造のための9大重要考慮事項
- プレミアムAndroidスパイウェアで経営統制を回復:3つの主要メリット