マスク着用時も表情を検出するイヤホン型デバイス

研究者たちが、頬の輪郭を観察して完全な表情を連続的に追跡し、それを絵文字や無音音声コマンドに変換するイヤホンを発明しました。耳装着型デバイス（C-Face）により、ユーザーはカメラを顔前に構えることなくオンライン協力者へ感情表現可能——リモートワークや学習が世界中で広がる中、特に有用なコミュニケーションツールです。

このデバイスは、表情追跡を目的とした既存の耳装着型ウェアラブル技術よりシンプルで、非侵襲的、より高性能です。従来の表情認識ウェアラブル技術では、顔にセンサー装着が必要なものが多く、それでも多くの機器を用いて限られた離散的表情のみ認識可能でした。

C-Faceでは、バーチャルリアリティ環境のアバターがユーザーの実際の感情を表現でき、オンライン授業中の学生エンゲージメントについて指導者が貴重な情報を得られます。また、表情キューのみで音楽プレーヤーなどコンピューターシステムを操作することも可能。筋肉動きを検出する仕組みのため、マスク着用時でも表情を取得できます。

仕組み：頬の輪郭変化を撮影・解析

デバイスは2つの微小RGBカメラ（赤緑青光帯域を撮影するデジタルカメラ）で構成され、ヘッドホン/イヤホンと共に各耳下に配置されます。カメラは顔面筋動作による顔面輪郭変化を記録。表情を作ると顔面筋が伸縮し、皮膚を押し引きし、近くの顔面筋緊張に影響。この効果で耳から見た頬の輪郭（アウトライン）が変化します。

画像取得後、コンピュータビジョンとディープラーニングモデルで再構築。生データが2Dであるため、画像分類・検出・検索に優れた畳み込みニューラルネットワーク（CNN）が輪郭を表情へ再構築を支援。モデルは頬画像を42個の顔面特徴点（ランドマーク）へ変換し、口、目、眉の形状と位置を表現——これら特徴が表情変化で最も影響を受けるためです。

実証実験と性能

COVID-19パンデミック制約により、9名の参加者でのみテスト実施。最先端コンピュータビジョンライブラリ（正面カメラで撮影した全顔画像から顔面ランドマーク抽出）と性能比較。再構築ランドマークの平均誤差は0.8mm未満でした。

42特徴点で表現される再構築表情は、「自然」「怒り」含む8種類の絵文字と、「再生」「次の曲」「音量アップ」など音楽デバイス制御用8種類の無音音声コマンドへ変換可能です。

応用可能性と課題

表情でデバイス操作可能にすることは、声を出して他者を妨げたくない共有ワークスペースなどで有用。表情を絵文字変換すれば、VR協力作業でのコミュニケーションがより円滑になります。

C-Faceの一つの制約はイヤホンの限られたバッテリー容量です。次のステップとして、チームはより低消費電力なセンシング技術開発を計画しています。

無重力姿勢が指圧マッサージチェアをどう進化させたか 2020年「未来を創造するデザインコンテスト」医療部門受賞：「古い箱からのチップ」——無痛除細動

センサー