システムはスマートフォンまたはコンピューターのカメラを使用して健康状態を測定します
遠隔医療は、COVID-19中の対面での接触を最小限に抑えながら、医師が依然として医療を提供するための重要な方法になっています。しかし、電話やオンラインでの予約では、医師が患者から脈拍や呼吸数などの重要なバイタルサインをリアルタイムで取得することは困難です。
ある方法では、人のスマートフォンまたはコンピューターのカメラを使用して、顔のリアルタイムビデオから脈拍と呼吸の信号を取得します。機械学習がリモートヘルスセンシングに役立つようにするには、システムは、脈拍などの生理学的情報の最も強力なソースを保持するビデオ内の関心領域を識別し、それを経時的に測定する必要があります。人はそれぞれ異なるため、システムは各人の固有の生理学的特徴にすばやく適応し、これを、見た目や環境などの他のバリエーションから分離する必要があります。
チームのシステムはプライバシーを保護し、クラウドではなくデバイス上で実行され、機械学習を使用して、血流の変化と相関する、光が人の顔に反射する方法の微妙な変化をキャプチャします。次に、これらの変化を脈拍と呼吸数の両方に変換します。
このシステムの最初のバージョンは、人々の顔のビデオと「グラウンドトゥルース」情報の両方を含むデータセットでトレーニングされました。各人の脈拍と呼吸数は、現場の標準的な機器で測定されます。次に、システムはビデオからの空間的および時間的情報を使用して、両方のバイタルサインを計算しました。これは、被験者が動いたり話したりしているビデオで、同様の機械学習システムを上回りました。しかし、システムは一部のデータセットではうまく機能しましたが、さまざまな人物、背景、照明を含む他のデータセットとは依然として苦労していました。これは「過剰適合」として知られる一般的な問題です。
研究者は、個人ごとにパーソナライズされた機械学習モデルを作成することで、システムを改善しました。具体的には、さまざまな肌の色、照明条件、環境など、さまざまな状況で顔の血流の変化に関連する生理学的特徴が含まれている可能性が高い、ビデオフレーム内の重要な領域を探すのに役立ちます。そこから、その領域に焦点を合わせ、脈拍と呼吸数を測定できます。
この新しいシステムは、特に肌の色が濃い人にとって、より挑戦的なデータセットが与えられた場合、以前のシステムよりも優れていますが、やるべきことはまだたくさんあります。被写体の肌のタイプが暗いと、パフォーマンスが低下する傾向があります。これは、暗い肌では光の反射が異なり、カメラが拾う信号が弱くなるためです。
脈拍または呼吸数をリモートで感知する機能は、リモートの患者ケアと遠隔医療に新しい機会を提供します。これには、特に誰かが診療所に便利にアクセスできない場合に、セルフケア、フォローアップケア、トリアージが含まれる可能性があります。
センサー