基本からスマートへ：HeadFiが普通のヘッドホンを多機能ヘルスモニターに変える

スマートヘッドホンと普通のヘッドホンの違いは、スマートなものが音楽再生を超えて、生理学的モニターやバーチャルタッチスクリーンとして機能できる点にあります。ラトガース大学の博士課程在籍中だったシャオラン・ファン氏が率いる研究チームは、普通のヘッドホンをセンサーとして使用する「HeadFi」と呼ばれる手法を開発しました。

プロジェクトの始まり

Tech Briefs: このプロジェクトはどのように始まりましたか？

ファン氏：私はオーディオマニアなので、ヘッドホンに興味を持っていました。シンプルなヘッドホンはスタジオミキサーやホームオーディオなどで使われてきましたが、最近ではアップル、サムスン、マイクロソフトからスマートヘッドホンが登場しています。

ヘッドホンのドライバーは原理的にマイクロフォンと同様に動作するため、ある意味で相互に変換可能であることは知られていました。マイクロフォンが信号を検知できるなら、ヘッドホンもデフォルトで同じことができるはずです。ヘッドホンにはスマートになるポテンシャルがありましたが、まだ誰もその「IQ」を活用していませんでした。それがこの方向で研究を始めた最初の動機です。それに、私の指導教官であるリッチ・ハワード氏は生涯を微小信号測定に費やしてきた方で、このアイデアについて相談したとき、試せるいくつかの手法を指摘してくれました。そこから深く探求と実験を重ね、論文を発表できるまでになりました。

ヘッドホンをマイクロフォンとして使う仕組み

Tech Briefs: ヘッドホンをマイクロフォンとしてどのように使用するのですか？

ファン氏：ドライバー自体は複雑で、抵抗、容量、インダクタンスを持つ複素インピーダンスシステムです。正確な技術はヘッドホンの種類によりますが、基本的にすべては電気信号を機械信号に変換するトランスデューサーです。これらのトランスデューサーは原理的に逆方向でも動作可能です。機械的な信号が振動板を振動させ、ボイスコイルを前後に動かして電気信号を生成するため、原理的には相互変換が可能です。

しかし問題は、ヘッドホンが音楽再生に最適化されていることです。音楽信号が支配的であり、外部からの励起信号を同時に記録しようとしても、音楽信号の1000分の1程度しかありません。音楽を再生しながらセンシングタスクを実行する方法が課題でした。音楽を止めないとセンシング機能が使えないのでは実用的ではありません。

そこで私たちは面白いアプローチを取りました。ヘッドホンは左と右のペアで構成されています。左と右のドライバーは製造時に互いにマッチングされるよう作られており、音声信号がバランスよくなっています。左右両チャンネルで再生される正確な音楽信号がわかっているため、左ドライバーの入力信号を使って右ドライバーの入力信号をキャンセルできます。左右のドライバーの出力に差分があれば、差分信号として抽出できるのです。

例えば私が話すと、両方のヘッドホンが私の声を拾いますが、口から左ドライバーへ、口から右ドライバーへの音声伝播経路は異なります。私の骨や組織の構造が左右で異なるため、物理的な伝播チャネルが同じではないのです。

したがって減算を行うと、左右のドライバー間に差分が生じ、それを検知できます。この減算によって音楽信号はキャンセルされますが、センシング信号の差分を取得できます。この小さな情報を活用して様々なことが可能になります。

ユーザー識別、心拍数モニタリング、ジェスチャー認識への応用

Tech Briefs: ヘッドホンを使ってユーザー識別、心拍数モニタリング、ジェスチャー認識を行う仕組みを説明していただけますか？

ファン氏：論文では4つのアプリケーションを提示しました：ジェスチャー認識、心拍数モニタリング、ユーザー識別、そして最もシンプルな音声通信です。

心拍数モニタリングを例に取りましょう。急いでいるとき、心臓がポンプ作用をして全身に機械的振動を生じさせます。これをヘッドホンが捉えます。

音声の場合と同様に、心臓から左ヘッドホンへ、心臓から右ヘッドホンへの伝播チャネルは異なります。差分信号をアルゴリズムで処理することで、心拍の周期を特定できます。

ジェスチャー認識では、例えば右側のハウジングをタッチすると、右ドライバーがタッチ信号を受信しますが、左側ははるかに弱い信号しか受信しません。減算後、位相を見ればどちら側がタッチされたかわかります。立ち上がりエッジの方向で右か左かが判別できるのです。

より高度なジェスチャー定義も可能です。例えば、スクラッチ（こする動作）で生成される信号はより複雑になります。その場合、ディープラーニング手法を適用して信号パターンを学習し、ジェスチャーを識別します。

最も興味深いアプリケーションはユーザー識別だと思います。仕組みはこうです：ヘッドホンがチープ信号（周波数を掃引する信号）を生成し、耳に送ります。信号は耳道を伝播し、反射して戻り、同じドライバーで捕捉されます。左右両方のドライバーが信号を捕捉し、減算を行います。面白いのは、誰の耳道も構造が異なること、つまり指紋のようなものだということです。したがって、ヘッドホンが受信するエコーは人によって異なります。さらに、同一人物でも左右の耳道は異なるため、減算後の差分信号も人それぞれ異なります。一卵性双生児でも実験で95%以上の成功率でした。これがこのアプリケーションのクールな部分だと思います。

高周波信号を使用する理由

Tech Briefs: なぜ高周波信号を使用するのですか？

ファン氏：高周波を生成する理由は、CTスキャンのようなものだからです。超音波CTスキャンのようなイメージです。耳道には様々な構造があり、高周波の方がより高い分解能でそれらを探索でき、特定の耳道の独特な形状を特定できます。最良の結果が得られる周波数を見つけるために周波数を掃引します。

掃引信号の生成方法

Tech Briefs: 掃引信号はどのように生成するのですか？

ファン氏：チープジェネレーターがソフトウェアに含まれています。

完全に自動化されたプロセスで、2ステップあります。まずヘッドホンが頭に装着されているか検知し、その後アプリケーションを実行します。

ヘッドホンが頭に装着されているかを確認する面白いトリックを使います。これは「貝殻効果」に基づいています。海岸を歩いているとき、貝殻を拾って耳に当てると、波の音のようなものが聞こえます。貝殻と耳道が半密閉空間を形成し、共鳴して特定の周波数を増幅するためです。

ヘッドホンでも同じです。ヘッドホンを耳に装着すると、特定の周波数が増幅され、様々な周波数での信号強度を見るだけで装着状態を検知できます。装着されていればチープ信号の送信を開始します。

これら4つのアプリケーションに限定されるものではありません。歩数計測や呼吸モニタリングなどの測定も可能です。

歩行とニューモニタリングの区別

Tech Briefs: 入力が歩行由来か呼吸由来か、どうやって区別するのですか？

ファン氏：信号がそれぞれ異なるため、ディープラーニングモデルで区別できます。

これは高齢者ケアにも応用できます。転倒を検知して119番通報するといった用途です。それにも取り組む予定です。

このプロジェクトの核心的な知的貢献は、既存のヘッドホンをスマート化するプラットフォームを提示したことです。これにより多様なアプリケーションが可能になります。高いレベルで言えば、この技術は普遍的な人間/ヘッドホン/ネットワークインターフェースを実現できます。世の中には多くの既存の「ダム」ヘッドホンがあり、それらがHeadFiの恩恵を受けられるからです。

プラットフォームとはソフトウェアのことか？

Tech Briefs: プラットフォームと言うとき、ソフトウェアを指すのですか？

ファン氏：ソフトウェア/ハードウェアの統合ソリューションです。ハードウェアはウィートストンブリッジで、左右のドライバー間のキャンセルを行います。その後、分類などの信号処理が必要で、サポートベクターマシンやディープラーニングフレームワークをサポートします。ソフトウェア/ハードウェアの統合ソリューションですが、ハードウェアは極めてシンプルで、抵抗2個程度で済みます。

Tech Briefs: アダプターを挿して使うのですか？

ファン氏：はい、それが現在のハードウェアプロトタイプです。

Tech Briefs: そしてスマートフォンにダウンロードするアプリを設計するのですか？

ファン氏：はい、現在使用しているアダプターはUSB Type-C接続で、現在のヘッドホンやスマートフォンで一般的です。

Tech Briefs: いつ頃商用化される見込みですか？

ファン氏：現在はラトガース大学の商用化センターのウェブサイトを通じてパートナーを探しており、アップル、サムスン、マイクロソフトなどの潜在的パートナーを模索しています。またアップグレード版ハードウェアも開発中で、現在のアダプターはオープンなプリント基板ですが、現時点で基板サイズを3cm×2cmまで小型化できています。プラグアンドプレイを目指し、デモを容易にするAndroidソフトウェアも作成中です。

このインタビューの編集版は、Tech Briefs 2021年5月号に掲載されました。