スマホとPCカメラでリアルタイム健康モニタリング

テレヘルスはCOVID-19期间、対面接触を最小限に抑えながら医師が医療を提供し続けるための重要な手段となりました。しかし、電話やオンライン診療では、患者の脈拍や呼吸数などの重要なバイタルサインをリアルタイムで取得するのが難しくなります。

ある手法は、人物のスマートフォンやコンピューターのカメラを用いて、顔のリアルタイム動画から脈拍と信号を取得します。機械学習が遠隔健康センシングで役立つには、動画内で最も強い生理学的情報源——脈拍など——を保持する関心領域を特定し、それを時間経過で測定する必要があります。誰もが異なるため、システムは各人のユニークな生理学的特徴に素早く適応し、外見や環境などの他の変動から分離しなければなりません。

チームのシステムはプライバシー保護型——デバイス上で実行されクラウドではなく——で、機械学習を用いて顔からの光反射の微細な変化を捉え、これは血流変化と相関します。その後、これらの変化を脈拍と呼吸数に変換します。

このシステムの最初のバージョンは、顔動画と「グランドトゥルース」情報——現場で標準機器で測定された各人の脈拍と呼吸数——を含むデータセットで訓練されました。システムは動画から空間的・時間的情報を用いて両バイタルサインを計算しました。被験者が動き話している動画では類似機械学習システムを上回りました。しかし、異なる人、背景、照明を含むデータセットでは依然として苦戦しました——「過学習」として知られる一般的な問題です。

研究者たちは、個々人向けのパーソナライズド機械学習モデルを生成するようシステムを改良しました。具体的には、異なる肌色、照明条件、環境など、様々な文脈下で顔の変化する血流と相関する生理学的特徴を含みそうな動画フレームの重要領域を探すのを助けます。そこからその領域に焦点を当て、脈拍と呼吸数を測定します。

この新システムは、より困難なデータセット、特に肌の色が濃い人々で前身を上回ります。それでもまだやるべき仕事があります。被験者の肌タイプが濃い場合、依然として性能劣化の傾向があります。これは濃い肌では光の反射が異なり、カメラが拾う信号が弱くなるためです。

脈拍や呼吸数を遠隔で検知するあらゆる能力は、遠隔患者ケアと遠隔医療の新たな機会を提供します。これにはセルフケア、フォローアップケア、トリアージが含まれ、特にクリニックへのアクセスが便利でない場合に有用です。

先進ミリ波ボディスキャナー：より速く、安全で、正確なセキュリティ検査 AI駆動バッテリー健康モニタリングで寿命と安全性を向上

センサー