新しいアルゴリズムは、任意の2つのオーディオ信号をシームレスにブレンドします

• 新しいアルゴリズムは、任意の2つのオーディオ信号間のポルタメント効果をリアルタイムで生成します。
• 信号の音量を増減することなく、あるオーディオ信号から別のオーディオ信号に周波数セグメントをシームレスにブレンドします。

ミュージシャンは、「ポルタメント」と呼ばれるエフェクトを使用して、ノート間を移行します。これは、実際に中間音符を定義せずに、ある音符から別の音符にスライドする手法です。

ミュージシャンは200年以上ポルタメントを使用しています。ただし、限られた種類の楽器はこの効果を引き出すことができます。これらは、バイオリンや人間の声のようにピッチを連続的に変化させることができる楽器です。

最近、MITの学生であるTrevor Hendersonが、任意の2つのオーディオ信号間のポルタメント効果をリアルタイムで生成するアルゴリズムを開発しました。彼は、ある曲が別の曲に溶け込んだり、ピアノの音符が人間の声に滑り込んだりするなど、さまざまなオーディオクリップをマージすることで、アルゴリズムの機能を実証しました。

アルゴリズムはどのように機能しますか？

このアルゴリズムは、「最適なトランスポート」と呼ばれる何世紀も前のジオメトリベースのフレームワークに基づいています。フレームワークは、複数の起点と終点の構成間でデータポイントを移動する最適な方法を決定します。 3Dモデリング、画像の位置合わせ、流体力学、コンピュータグラフィックスに適用されています。

ヘンダーソンはこのフレームワークを使用してオーディオ信号を補間しました。このアルゴリズムは、オーディオ信号を小さなセグメント（約50ミリ秒）に分割することで機能します。次に、個々のセグメントのピッチを他のオーディオ信号のピッチに移動する最も効率的な方法を決定します。

このようにして、アルゴリズムはポルタメント効果のスムーズなグライドを生成します。また、信号が遷移するときにオーディオの忠実度が維持されます。

参照：arXiv：1906.06763 | MIT

通常、フェージングエフェクトは、2つのオーディオ信号間の遷移を和らげるために使用されます。これは、1つの信号の音量を下げ、他の信号の音量を上げる従来の方法です。

一方、新しいアルゴリズムは、信号の音量を増減することなく、あるオーディオ信号から別のオーディオ信号に周波数セグメントをシームレスにブレンドします。

このテクニックは、ポリフォニック楽器を含むさまざまな楽器にポルタメントを拡張します。実際、異なる楽器のセットまたは他のオーディオ信号のペア間を移行するために使用できます。リアルタイムで明確な音楽結果を生成します。

「補間パラメータ」は、DJのミキシングボード上のクロスフェーダーなどのスライダーコンポーネントによって制御できます。クロスフェーダーをスライドさせると、パラメーターが変化し、ポルタメント効果が生まれます。

歪みを排除するために、ヘンダーソンは単一処理技術のアプリケーションである「周波数再割り当て」を使用しました。これにより、個々のノートを信号間で簡単に移行できます。彼はまた、オーディオの小さなセグメントをマージしながら、各信号の新しい位相を合成する新しい方法を開発しました。これにより、隣接するセグメントが互いに干渉しなくなります。

読む：FacebookAIは音楽をあるスタイルから別のスタイルに変換します

次の研究では、ヘンダーソンはポルタメントの出力をその入力にフィードバックしようとします。これにより、レガートと呼ばれる別の効果が生じる可能性があります。これは、異なる音符間の滑らかで連続的な動きを表します。