Q＆A：プラットフォームはヘッドフォンをダムからスマートに変換します

スマートヘッドホンとダムヘッドホンの違いは、スマートヘッドホンは音楽を再生するだけでなく、生理学的モニターや仮想タッチスクリーンにすることもできます。 Xiaoran Fanは、ラトガース大学の博士課程の候補者であり、通常のヘッドホンをセンサーとして使用するHeadFiと呼ばれる方法を開発した研究者チームを率いていました。

テクニカルブリーフ： このプロジェクトはどのように始まったのですか？

シャオランファン： 私はオーディオファンなので、ヘッドホンに興味があります。スタジオミキサーやホームオーディオなどのアプリケーションにはシンプルでわかりやすいヘッドホンが使用されていますが、最近ではApple、Samsung、Microsoftのスマートヘッドホンが見られます。

ヘッドホンのドライバーは、原則としてマイクと同じように機能することを常に知っているので、ある意味では相互に作用します。マイクは信号を感知できるので、それはヘッドフォンもデフォルトでそれを行うことができることを意味します。したがって、ヘッドホンはスマートになる可能性がありますが、まだ誰もそのIQを使用していませんでした。それが私をこの方向に導いた最初のインセンティブでした。さらに、私の顧問であるリッチハワードは生涯にわたって小信号測定を行ってきたので、私がこのアイデアについて彼と話したとき、彼は私が試すことができるいくつかの方法を指摘しました。それから私は飛び込み、多くの調査と実験を行った後、私たちの仕事に関する論文を発表することができました。

テクニカルブリーフ： ヘッドフォンはマイクとしてどのように使用されますか？

ファン： ドライバー自体は複雑です—抵抗、静電容量、インダクタンスがあります—それは複雑なインピーダンスシステムです。正確な技術は、使用しているヘッドフォンの種類によって異なりますが、基本的には、すべてが電気信号を機械信号に変換するトランスデューサーにすぎません。これらのトランスデューサは、原則として、逆方向に動作させることができます。機械的信号がダイヤフラムを振動させ、ボイスコイルを前後に動かして電気信号を生成する可能性があります。したがって、原則として、それらは相互的です。

しかし、問題は、ヘッドフォンが音楽の再生用に最適化されていることです。音楽信号が支配的です。同時に外部からの励起信号を録音することもできますが、音楽信号の1000分の1になる可能性があります。そのため、ヘッドホンが音楽を再生しているときに、どのようにセンシングタスクを実行するかが課題でした。それができず、ユーザーがセンシング機能を使用するために音楽を停止する必要がある場合、これは役に立ちません。

それで、私たちは非常に興味深いことをしました。ヘッドフォンは、左ドライバーと右ドライバーのペアで提供されます。ヘッドホンは左右のドライバーが一致するように製造されていることを利用しました。これは、2つの音声信号のバランスが取れていることを意味します。したがって、両方のチャネルで再生している正確な音楽信号がわかっているという事実を使用して、左側のドライバーからの入力信号を使用して、右側のドライバーからの入力信号をキャンセルできます。したがって、左右のドライバーの出力に差がある場合は、出力を差し引くと差信号が生成されます。

私が話しているとしましょう— 2つのヘッドホンは私の声をキャプチャしますが、私の口から左のドライバーへの声と私の口から右のドライバーへの声は異なるチャネルを介して伝播します。私の声と左耳の間の物理的なチャネルと、私の声と右耳の間の物理的なチャネルは同じではありません。これは、私の骨と組織の構造が左から右に異なるためです。

したがって、減算を行うと、左右のドライバーに違いが生じ、キャプチャすることができます。この減算により、音楽信号はキャンセルされますが、センシング信号の差をキャプチャできます。その小さな情報を使って何かをすることができます。

技術概要 ：ヘッドホンを使用してユーザーの識別などを測定する方法を説明してください。心拍数のモニタリング;ジェスチャーを認識します。

ファン ：私たちは実際に、ジェスチャ認識、心拍数モニタリング、ユーザー識別、そして最も単純な音声通信の4つのアプリケーションを論文で紹介しました。

例として心拍数の監視を取り上げます。急いでいるとき、あなたの心臓は鼓動しています—それはあなたの体全体に機械的な振動を生み出し、それはヘッドホンが捕らえることができます。

しかし、音声と同じように、心臓から左ヘッドホンと右ヘッドホンまでのチャネルは異なります。アルゴリズムを介して差信号を実行することにより、心拍数の周期を見つけることができます。

ジェスチャ認識に関しては、ヘッドホンの右側の筐体をタップまたはタッチするとします。右のドライバーはタッチ信号を受信しますが、左のドライバーははるかに弱いタッチ信号を受信します。減算を行うと、フェーズがわかります。立ち上がりエッジが一方向にある場合、それは右の電話であることを意味します。立ち上がりエッジが反対方向にある場合、それは左側のタッチです。

ただし、ジェスチャを定義するためのより高度な方法は他にもあります。たとえば、スクラッチによって生成される信号はより複雑になります。その場合、いくつかの深層学習方法を適用して、ジェスチャーを識別するための信号パターンを学習できます。

しかし、最も興味深いアプリケーションはユーザーの識別だと思います。それが機能する方法は、ヘッドフォンがスワイプ信号を生成することです—周波数帯域を上にスワイプして信号を耳に送ります。信号は外耳道を通って伝播し、反射して戻り、それを生成したのと同じヘッドホンドライバーによってキャプチャされます。左右のドライバーは両方とも信号をキャプチャし、減算を実行します。興味深いのは、外耳道の構造が指紋のようなものであるため、ヘッドホンで受信するエコーが人によって異なることです。さらに興味深いのは、誰にとっても左耳道と右外耳道が異なるため、減算を行うと差信号が発生することです。そして、その違いは人によっても異なります—一卵性双生児の間でも。一卵性双生児で実験を行い、成功率は95％を超えました。それはアプリケーションのすばらしい部分だと思います。

技術概要 ：なぜ高周波信号を使うのですか？

ファン ：高周波を生成する理由は、それがCTスキャンのようなものであるためです—超音波CTスキャン。私たちの外耳道は、特定の外耳道の特徴的な形状を識別するために、より高い周波数がより良い解像度で探索できるさまざまな構造を持っているため、周波数の範囲をスワイプします。周波数をスイープして、その耳に最適な結果が得られる周波数を見つけます。

技術概要 ：スイープ信号をどのように生成しますか？

ファン ：チャープジェネレータはソフトウェアに含まれています。

完全に自動化されたプロセスがあります。 2つのステップがあります。最初のステップは、ヘッドホンが頭に付いているかどうかを検出してから、アプリケーションを実行することです。

興味深いトリックを使用して、ヘッドホンが頭に付いているかどうかを確認します。貝殻効果に基づいています。海岸を歩いているときに、貝殻を手に取って耳元に固定すると、海の音のような音がします。これは、貝殻と外耳道が半密閉された空間の囲いを形成し、共鳴して周波数を増幅するためです。

ヘッドホンも同じです。ヘッドホンを耳に装着すると、ある程度の周波数が増幅され、さまざまな周波数での信号強度を調べるだけで、ヘッドホンが耳に装着されているかどうかを検出できます。ヘッドホンが頭に付いている場合は、チャープの送信を開始します。

ただし、これら4つのアプリケーションに限定されません。歩数や呼吸モニタリングなどの測定も可能です。

技術概要 ：入力がステップからのものか呼吸からのものかをどのようにして知ることができますか？

ファン ：信号は互いに異なるため、深層学習モデルを使用して信号を区別できます。

これは、介護にも使用できます。人が転倒したかどうかを認識できるので、911に電話する必要があります。これにも取り組む予定です。

私たちのプロジェクトの中心的な知的貢献は、ストックヘッドホンをスマートにすることができるプラットフォームを提示したことです。これにより、さまざまなアプリケーションが可能になります。非常に多くの既存の「ダム」ヘッドホンがHeadFiの恩恵を受ける可能性があるため、大まかに言えば、このテクノロジーはユビキタスなヒューマン/ヘッドホン/ネットワークインターフェイスを可能にします。

技術概要 ：プラットフォームとは、ソフトウェアのことですか？

ファン ：これはソフトウェア/ハードウェアソリューションです。ハードウェアは、左右のドライバー間のキャンセルを行うホイートストンブリッジです。その後、ベクトルマシンや深層学習フレームワークのサポートなど、分類などのタスクの信号処理を行う必要があります。したがって、これはソフトウェアとハ​​ードウェアを組み合わせたソリューションですが、ハードウェアは非常に単純であり、抵抗器を2つだけ使用するだけです。

技術概要 ：プラグインするアダプターがありますか？

ファン ：はい、それがハードウェアの現在のプロトタイプです。

技術概要 ：そして、スマートフォンに負荷をダウンロードするアプリを設計する必要がありますか？

ファン ：はい、現在使用しているアダプターにはUSB Type C接続があります。これは、現在ヘッドフォンや携帯電話で非常に一般的です。

技術概要 ：これがいつ商品化されるかについて大まかな考えはありますか？

ファン ：現在、ラトガース商業化センターのWebサイトを使用してパートナーを探しており、Apple、Samsung、Microsoftなどの潜在的なパートナーを探しています。現在のアダプタは単なるオープンプリント回路基板であるため、アップグレードされたハードウェアも開発しています。これまでのところ、現時点でボードのサイズを3 cm x2cmに縮小することができました。プラグアンドプレイを目指しており、デモンストレーションを簡単にするためのAndroidソフトウェアも作成しています。

このインタビューの編集版は、TechBriefsの2021年5月号に掲載されました。