ロボット群による環境マッピング：David Lary博士へのQ&A
テキサス大学ダラス校のDavid Lary博士が率いる研究グループは、危険または到達困難な現場で調査とデータ収集を行う自律ロボットデバイスのチームを開発しました。人間が提供できるよりも多く、より速い洞察を提供します。
Tech Briefs: 複数の自律デバイスを用いて包括的な環境データセットを収集する着想は何から得ましたか？
Dr. David Lary: それには二つの側面があります。まず、私を駆り立てる情熱です。人々を危険から遠ざけ、タイムリーな意思決定のための適切な実行可能な洞察を得るために、包括的なホリスティックセンシングを実現したいと強く願っています。それが私の動機ですが、実際の道のりは数年前、そう、ほぼ30年前に始まりました。
ケンブリッジで博士号を取得していたとき、オゾンホールを発見したJoe Farman氏がすぐ近くにいました。私の博士論文では、オゾン層破壊の最初の3次元グローバルモデルを開発しました。ヨーロッパ中期予報センターが使用していたグローバルモデルへのプラグインとなる化学モジュールでした。このプラグインで、オゾン関連化学のグローバルシミュレーションが可能になりました。そこで当然知りたくなったのは「このモデルはどれだけ良いか？」です。検証のために、衛星、航空機、地上センサー、気球など、できるだけ多くのデータソースを集めなければなりませんでした。直面した厄介な問題の一つは、機器間バイアスでした。これをどうにか対処できないかと探していたとき、まったくの偶然から機械学習に出会いました。これは今日のような大規模採用の前でしたが、非常にうまく機能することが分かりました。そこから、他に何ができるかを探り始めました。その過程で、化学データ同化を開発した最初のグループとなりました。これは現在、世界中の機関が大気質予報システムの一部として使用しています。
データ同化では、不確実性に多くの注意を払います。NASAでの仕事の一つは、グローバルリモートセンシングデータ製品の作成でした。仕組みは、リモートセンシング情報を用いてデータ製品を作成します。大気組成、地表面、海底組成（全球海洋）などです。衛星からリモートセンシングデータを取得し、現地実測値（グランドトゥルース）と比較します。通常、そのためのトレーニングデータ収集には10年以上かかることもあります。世界中で遭遇しうる多様な条件と文脈をサンプリングしたいからです。
私たちの自律ロボットチームは、約15分で、それら衛星ベースリモートセンシングデータ製品の作成に通常使用されるのと同量のデータを収集しました。ただし、一地点分ですが。未知の環境に入り、精密に調整された観測を迅速に行えます。この場合、チームはボートと航空機でした。ボートを選んだのは、アクセスの問題で地上ベース測定より少し難易度が高いからです。
このパラダイムは、新製品の迅速な作成支援だけでなく、衛星観測のキャリブレーションと検証にも有用です。また、人々を危険から遠ざけることにも役立ちます。非常に汚染された環境や、人間が入ると脅威となる環境があれば、ロボットチームがそこへ行き、調整された方法で適切なデータを収集できます。
私たちの論文での研究では、ハイパースペクトルイメージャーを搭載した航空機を使用しました。これは膨大なデータ量を非常に速く収集します。現在最速のデータパイプ、おそらく5Gセルラー通信でも、ハイパースペクトル画像のストリーミングに必要な帯域幅には対応できません。搭載機械学習によるオンボード処理でこの問題に対処し、データ製品をその場で作成してストリーミングします。最終データ製品、例えば汚染物質の豊度は、はるかに少ないデータ量で、リアルタイムストリーミングが容易です。
つまり、人々を危険から遠ざけ、生態系を特性評価し、ハリケーンによる化学プラント近くの住宅地浸水のような緊急対応活動の一部となり、有害藻類ブルーム、油流出、各種農業用途など、数多くの応用で包括的なデータを迅速に収集する能力なのです。
これは柔軟なコンポーネントセットとして設計されています。今やスマホにアプリストアがあるのと同様に、テスラ車がOTAアップデートを持つように、これらは独自のアプリストアを持つソフトウェア定義センサーであり、時間とともに能力を向上させるアップデートが可能です。
Tech Briefs: 飛行センサーと地上センサーがあり、情報をどこに送り返すのですか？ すべてどう処理されますか？ どこで処理されますか？
Dr. Lary: これはスマートセンサーのアンサンブルと考えてください。いくつかの要素があります。まずソフトウェア定義センサーです。これはスマートセンシングパッケージで、物理センシングシステム（カメラ、ハイパースペクトルカメラ、サーマルカメラ、質量分析計など）と、それを包むソフトウェア/機械学習を組み合わせたもので、キャリブレーション済みおよび/または導出データ製品を提供する機能を備えます。ほとんどのセンサーは何らかのキャリブレーションを必要とします。
センサーをソフトウェア/機械学習ラッパーと結合することで、複雑なキャリブレーションが可能になり、はるかに柔軟なシステムが実現します。そのソフトウェア定義センサーは独自のアプリストアを持つこともできます。一つ以上のソフトウェア定義センサーをプラットフォームに搭載できます。プラットフォームはセンサーに電力を供給し、生成されるすべてのデータにタイムスタンプと位置情報を付与し、通信接続を提供し、関連する場合は移動性も提供します。
Tech Briefs: つまり、これは物理プラットフォームですか？
Dr. Lary: はい。この例では二つのプラットフォームがありました。ハイパースペクトルカメラ、サーマルカメラ、その他いくつかのセンサーを搭載したロボット航空機。二つ目はロボットボートで、水中のセンサースイート（ソナー、各種組成センサー）と、上面に超音波気象観測装置を搭載していました。
ソフトウェア定義センサーとプラットフォームが合わさって「センチネル」を形成します。このセンチネルは、通常移動して測定し、データを処理および/またはストリーミングできるものです。
複数のセンチネルが協力して働くと、ロボットチームを形成し、個々では不可能な能力を提供し合えます。この場合、センサー搭載航空ロボットが水上ロボット（ロボットボートとそのセンサー）と協力します。同じネットワーク上にあるため、設計により航空ロボットはボートと同じ経路を滑空します。ボートは水中を測定し、航空ロボットはハイパースペクトルカメラで上空から水面を見下ろし、機械学習を用いて、ハイパースペクトルカメラが見るものから水の組成へのマッピングを学習します。一度そのマッピングを学習すれば、はるかに広い領域を高速飛行し、油濃度、クロロフィル豊度、溶存有機炭素、または水のどの成分に関心があるかにかかわらず、広域組成マップを提供できます。
その環境を以前見たことがなくても可能です。ロボットチームが協力してトレーニングデータを収集します。トレーニングデータは機械学習によって広域組成マップのような新しいデータ製品の作成に使用されます。モデルが一度訓練されれば、ハイパースペクトルセンシングは航空測定のみで可能になり、航空機上でオンボード処理され、結果がリアルタイムストリーミングされます。通常、データ量が膨大なため、演算に多大な時間を要します。リアルタイムストリーミングが不可能なほど大きいため、オンボードでエッジ処理してからストリーミングすることで、新たな能力が得られるだけでなく、遅延も削減されます。
Tech Briefs: エッジ処理によるセンサーで送信データ量を削減する話と似ていますね。
Dr. Lary: まさにその通りです。
Tech Briefs: 今行われた作業をプロトタイピングと見なしますか？
Dr. Lary: はい、どこかから始めなければなりません。これが最初の一歩です。
Tech Briefs: 実用化をどう予見しますか？ 災害が発生し、当局があなたのシステムを使いたい場合、何をすればよいですか？
Dr. Lary: このプロトタイプは、はるかに包括的なビジョンの一事例に過ぎません。マルチロボットチームの最小実装です。ここでは航空機とロボットボートの二台だけでした。水のセンシングにはアクセス課題があるため、この二つを選びました。しかし、このチームには地上歩行ロボットや、ロボットチーム全体を潜在的に危険な環境に運び込んで遠隔展開する両用車など、もっと多くのメンバーを加えられます。
Deepwater Horizonのような油流出事故への対応が可能です。野生生物への影響、漁業への影響などの映像を見ました。油流出は常に起きています。化学物質流出もありえます。例えばハリケーン・ハービーがヒューストンを襲ったとき、多数のプラントが浸水し、近隣住宅地が三方を汚染水に囲まれました。水中の揮発性有機化合物が放出ガスとなり、深刻な呼吸器問題を引き起こしました。人々は何を吸っているか分からなかったが、影響を受けていることは分かっていました。清掃作業員も汚染水の影響を受けていました。
私たちのセンシングシステムがあれば、正確に何に対処しているかが分かり、適切に対応を調整できます。有害藻類ブルームなど他のケースにも適用できます。災害がなくても、このタイプの能力で生態系の特性評価やインフラ調査が可能です。道路、鉄道、橋梁などで、センサー搭載自律ロボットが詳細測定を迅速に実施できます。
別のシナリオを想像してください。今回の例のような航空ロボットに、ハイパースペクトル、サーマル、合成開口レーダーを搭載し、地表テクスチャを観測します。これを地中レーダーで空洞や断層を探す地上ロボットと連携させます。トンネルでも道路でも、使用と風化で空洞が形成されます。農業にも多くのシナリオがあります。レゴブロックのようにプラグアンドプレイで組み合わせられる包括的センシングとして設計されています。リアルタイムデータ駆動型意思決定により透明性を高め、人々を危険から遠ざける様々な実用ユースケースに迅速に対応できます。
Tech Briefs: このシステムを使いたい人がいた場合、カスタムビルドのロボットやドローンが必要ですか？ 既存デバイスに搭載できるパッケージがありますか？ どう実用化を想像しますか？
Dr. Lary: 何年も、物事を連携させることに苦労してきました。機器を買うことは一つ、コンポーネントを連携させることは別です。私たちが購入したものはすべて市販品です。私たちの努力は、より良い言葉がないので「スマート部分」、ソフトウェア統合に注がれました。
とはいえ、機械学習を用いるこれらのソフトウェア定義センサーの重要なステップは、基準に対するキャリブレーション、またはその場での学習です。同じ考え方で、非常に高価な基準センサーに対してキャリブレーションされた低コストセンサーを都市全体に配布する大気質モニタリングを行っています。以前ならコスト面で不可能だった近隣規模でのセンサー配備が可能になります。
このロボットチームでリモートハイパースペクトル測定を現場組成（この場合は水）に対してキャリブレーションしたのと同様に、低コストセンサーを基準に対してキャリブレーションすることで、 otherwise非常に困難なことが達成可能になります。
センサーネットワーク、機械学習を用いて協力的に働く自律センチネルのネットワークこそが、個々のコンポーネントだけでは到底不可能なことを実現させるのです。
Tech Briefs: これは民間企業による商品化、あるいは政府の関与を予見しますか？ 今後どうなりますか？
Dr. Lary: 今後の私の夢は、個人、自治体、企業がこうした能力に容易にアクセスできるストアを持つことです。センサーだけでなくバックエンドサービスも得られ、プラグアンドプレイで組み合わせればすぐ動き、長い開発を経る必要がないようにすることです。米国立科学財団はこれをサイバーフィジカルシステムと分類します。サイバーフィジカルシステムは基本的に、より良いタイムリーな意思決定を助けるアルゴリズムと結合したセンシングシステムです。
このすべてへの私の夢、そして私たち複数が目指し、あらゆる種類のパートナーを歓迎しているのは、サイバーフィジカルソーシャル観測所を持つことです。巨大望遠鏡を持つ天文台のように、国家施設でなければなりません。その規模を個人で賄うことはできないからです。
今、複数のコンポーネントを持つセンシング能力セットがあると想像してください。私たちのプロジェクトでは航空ロボットとロボットボートですが、実際には様々な状況向けに9種類のセンチネルタイプを持っています。衛星と気象レーダーからのリモートセンシングを使用できます。航空機以外に、ストリートレベルセンサーで24/7の大気質、光強度、電離放射線などをストリーミング。歩行ロボット、電動地上車両、ロボットボート、さらにウェアラブルセンサーもあります。
また、衛星からのグローバルな大局的観測から、マルチスケールセンシングも実現したい。ハリケーン・ハービーの例に戻ります。上陸前から衛星で観測でき、接近につれ気象レーダーで観測可能。しかし上陸した瞬間、マイクロ環境の詳細が極めて重要になります。特定の河川の正確な水位がローカル環境に大きな差を生む可能性があります。グローバルな大規模観測とハイパーローカル観測の両方の情報が必要です。なぜなら私たちが生きているのはその非常にローカルなスケールだからです。同時に大規模とローカルをセンシングするには、複数のセンチネルが本当に必要です。
ウェアラブルセンシングも非常に重要です。例えば並行して行っている研究では、「大気汚染で『バカ』になる」というニュース見出しを見かけます。しかし「バカ」とはどの程度か？ どの汚染物質が他よりバカにさせるのか？ 私たちの研究の一つでは、包括的バイオメトリックセンシングで毎秒16,000パラメータ以上を測定し、約2,000の環境パラメータの包括的環境センシングと合わせて、環境状態が自律神経反応にどう影響するかを調べています。
これすべては、人々を危険から遠ざけるホリスティックセンシングであると同時に、私たちの健康に影響を与えている見えない「部屋の象」を見つけるためでもあります。それが何かを実現し、定量化できれば、通常データ駆動型意思決定で状況を改善し、進捗を監視するための適切な次のステップを踏む明確な道筋があります。
それが本当に私の夢です。人々を危険から遠ざけるホリスティックセンシングの触媒となること。社会への奉仕としてのセンシング。多くのプロトタイプを実用段階まで持っていこうとしています。それを促進するパートナーシップを常に歓迎します。政府、個人、自治体、コミュニティグループ、企業、あらゆる主体と協力しています。
Tech Briefs: 全く新しい種類のインフラを発明しようとしているように聞こえます。
Dr. Lary: そうなろうとしています。ニーズによって駆動されています。ホリスティックな情報は、適切な意思決定のための情報を与えることで、大きな違いを生み出せます。適切なインフラなしでは非自明です。
Tech Briefs: 素晴らしいと思います。いつか実装されることを願っています。
Dr. Lary: 私もです、私も。長い道のりを来ました。最初の一歩を踏み出していると思います。
物理的側面以外にも、私が触れられなかった部分があります。例えば学校欠席率が学習成果低下につながります。しかし欠席の原因が喘息であることがよくあります。喘息は花粉や大気汚染が原因で、実はカスケード効果です。社会が環境と相互作用しています。これを一方通行にしたくありません。センシングから直接見えることだけでなく、健康成果のクラスターや藻類ブルーム（漁業を壊滅させる）、油流出など、社会的課題からも観測トリガーが働く双方向の相互作用にしたいのです。
環境パラメータレイヤーすべてを、死亡率トレンド、欠席率、癌発生率などの社会レイヤーと統合できるデータプラットフォームがあれば、個人を助ける意思決定プロセスをはるかに透明かつ効果的にできます。
Tech Briefs: 現在何に取り組んでいますか？ 次のステップは？
Dr. Lary: このボート＋航空機ロボットチームの次のステップは、その自律チームの様々な側面を強化すること。そしてチームメンバーを増やすことです。例えば、ボートと航空機を汚染環境に運び込み、そこへ展開しながら自らも測定する両用地上車両を加えること。また、ロボットを修復作業の一部にすることも。
異なるコンポーネントが連携して働くのです。同じタイプのチームで、道路、鉄道、橋梁などインフラメンテナンスや、大気質、水質など環境品質の他の側面にも使えます。つまり、この概念実証は「これができる、今様々な応用にスケールさせたい」ことを示すプロトタイプだったのです。
また、これらは衛星ミッションのプロトタイプにもなり得ます。航空機での概念実証から、CubeSatなど他のプラットフォームへ移行するパイプラインを想像できます。これは衛星ミッションの検証プロセス、データ収集の一部にもなり得ます。前述の様々な目的のデータ収集にも。
このインタビューの編集版は、Tech Briefs 2021年6月号に掲載されました。
センサー