Q＆A：ロボットチームは環境の構成をマップします
テキサス大学ダラス校のDavidLary博士は、危険な場所や到達が困難な場所で調査やデータ収集を行うために使用できる自律型ロボットデバイスのチームを開発した研究グループを率いています。人間が提供できるよりも。
テクニカルブリーフ： 複数の自律型デバイスを使用して環境データの全体的なセットを収集するようになったきっかけは何ですか？
博士デビッド・ラリー： さて、その旅には2つの部分があります。 1つ目は私を駆り立てる情熱です。タイムリーな意思決定を行うための適切な実用的な洞察が得られるように、人々を危害から遠ざけるための包括的な全体的なセンシングが必要です。それが私のモチベーションですが、この時点までの実際の旅は数年前に始まりました。まあ、30年近く前です。
私がケンブリッジで博士号を取得したとき、オゾンホールを発見した本当に近くにいたのは、ジョー・ファーマンという男でした。そこで、博士号を取得するために、オゾン層破壊の最初の3次元グローバルモデルを開発しました。これは、ヨーロッパ中期天気予報センターで使用されたグローバルモデルへのプラグインである化学モジュールでした。プラグインを使用すると、オゾン関連の化学のグローバルシミュレーションを実行できました。それで、私が聞きたかった明らかな質問は、このモデルはどれくらい良いかということでした。それを検証するために、衛星、航空機、地上センサー、気球など、できるだけ多くのデータソースをまとめる必要がありました。
の1つ私が直面した有害なことは、機器間のバイアスでした。それで、私はこれらの偏見に対処するのを助ける方法を探していました。これは30年前のことですが、偶然にも機械学習に出くわしました。これは、今日のように大々的に採用される前のことであり、本当に良い仕事をしたことがわかりました。それで私はそれを使って他に何ができるかを調べ始めました。その過程で、私たちは化学データ同化を開発した最初の人々でした。これは現在、世界中の機関によって大気質予測システムの一部として使用されています。
データ同化で私たちが行うことの1つは、不確実性に多くの注意を払うことです。 NASAでの私の仕事の一部は、グローバルなリモートセンシングデータ製品を作成することでした。仕組みは、リモートセンシング情報を使用して、たとえば大気の組成、地表、または水中の組成、たとえば地球規模の海洋に関するデータ製品を作成することです。衛星からリモートセンシングデータを取得し、その場でのグラウンドトゥルースと比較します。通常、それを行うためのトレーニングデータの収集には、最大10年ほどかかる場合があります。グローバルに遭遇する可能性のある多くの異なる条件とコンテキストをサンプリングできるようにしたいので、これはかなりの作業です。
私たちの自律型ロボットチームは、約15分で、1つの場所ではありますが、衛星ベースのリモートセンシングデータ製品の作成に通常使用されるのと同じデータ量を収集しました。そのため、これまでに見たことのない新しい環境に入り、正確に調整された観測を迅速に行うことができます。この場合、チームはボートと航空機でした。アクセスの問題があるため、地上での測定よりも少し難しいため、ボートを選択しました。
このタイプのパラダイムは、新製品を迅速に作成するのに役立つだけでなく、衛星観測のキャリブレーションと検証にも役立ちます。また、人々を危害から遠ざけるのにも役立ちます。非常に汚染された環境、またはそこに侵入する人間への脅威がある環境がある場合、ロボットチームはそこに行き、調整された方法で適切なデータを収集できます。
私たちの論文の研究では、膨大な量のデータを非常に迅速に収集するハイパースペクトルイメージャーを備えた航空機を使用しました。したがって、現在の最速のデータパイプ、おそらく5Gセルラー通信でさえ、ハイパースペクトル画像のストリーミングに必要な帯域幅を処理するのに十分な速度ではありません。オンボードの機械学習を使用して、これらのデータ製品をオンザフライで作成し、ストリーミングできるオンボード処理でこの問題に対処します。汚染物質の量などの最終的なデータ製品は、リアルタイムで簡単にストリーミングできるはるかに少量のデータです。
つまり、化学プラントの近くの近隣の浸水を引き起こしたハリケーンの後など、人々を危害から遠ざけ、生態系を特徴付け、緊急対応活動の一部にするために使用できる包括的なデータを迅速に収集する能力です。 、またはそのようなアプリケーションの数：有害なアオコ、油の流出、またはさまざまな農業アプリケーション。
柔軟なコンポーネントのセットになるように設計されています。今と同じように、スマートフォンにアプリストアを設置したり、テスラの車に無線で更新を行ったりしています。これらはソフトウェアで定義されたセンサーであり、独自のアプリストアを備えており、時間の経過とともに機能を向上させることができます。
>テクニカルブリーフ： 飛行センサーと地上センサーがあり、情報をどこに送り返しますか？それはどのように処理されますか？どこで処理されますか？
博士ラリー： これをスマートセンサーのアンサンブルと考えてください。一連のものがあります。つまり、最初にソフトウェア定義のセンサーがあります。ソフトウェア定義のセンサーは、カメラ、ハイパースペクトルカメラ、赤外線カメラ、質量分析計などの物理的なセンシングシステムを組み合わせたスマートセンシングパッケージになります。これは、ソフトウェア/機械学習がラップされた任意のセンシングデバイスであり、キャリブレーションおよび/または派生データ製品を提供する機能を提供します。ほとんどのセンサーには、何らかのキャリブレーションが必要です。
センサーをソフトウェア/機械学習ラッパーと結合することで、より柔軟なシステムを実現する複雑なキャリブレーションを実行できます。そのため、そのソフトウェア定義センサーは、独自のアプリストアを持つこともできます。これらのソフトウェア定義センサーの1つまたは複数は、センサーが生成するすべてのデータの電力と時間および位置のスタンプ、通信接続、および場合によってはモビリティを提供するプラットフォーム上に配置できます。
テクニカルブリーフ： では、これは物理的なプラットフォームですか？
博士ラリー： はい—この例では、2つのプラットフォームがありました。ハイパースペクトルカメラとサーマルカメラ、およびその他のいくつかのセンサーを搭載したロボット航空機がありました。次に、2番目のプラットフォームはロボットボートでした。このロボットボートは、ソナーやさまざまな組成センサー、その上部にある超音波気象観測所など、その下の水中に一連のセンサーを備えていました。
ソフトウェア定義のセンサーとプラットフォームが番兵を形成します。この歩哨は、通常、動き回ったり、測定したり、データを処理したり、ストリーミングしたりできるものです。
複数の歩哨が協力してロボットチームを形成し、互いに協力して、他のどの歩哨よりも多くの機能を提供できます。この場合、センサーを備えた空中ロボットは、水上ロボット、つまりロボットボートとそのセンサーと連携しています。それらは同じネットワーク上にあるため、空中ロボットは、設計上、ボートと同じ経路を滑空します。ボートは水中にあるものを測定し、空中ロボットはリモートハイパースペクトルカメラで上から水を見下ろし、機械学習を使用して、ハイパースペクトルカメラが見たものから水の組成へのマッピングを学習します。マッピングが学習されると、それははるかに広い領域を迅速に飛行し、たとえば、油濃度、クロロフィルの存在量、溶存有機炭素、または水のあらゆる成分の広域組成マップを提供できるようになります。再興味があります。
その環境を見たことがなくても、それを行うことができます。ロボットチームが協力して、このトレーニングデータを収集します。トレーニングデータは、機械学習によって、広域構成マップなどの新しいデータ製品を作成するために使用されます。そのモデルがトレーニングされると、ハイパースペクトルセンシングは空中測定から実行でき、空中車両に搭載されて処理され、結果がリアルタイムでストリーミングされます。通常、これは非常に大量のデータであるため、数の計算を行うのにかなりの時間がかかる可能性があります。非常に大きいためリアルタイムでストリーミングできないため、ボード上でエッジ処理してからストリーミングできるため、新しい機能が提供されるだけでなく、レイテンシーも削減されます。そのようなタスクを実行します。
テクニカルブリーフ： 送信する必要のあるデータの量を減らすために、エッジ処理用のセンサーについて彼らが話しているようなものです。
博士ラリー： その通りです。
テクニカルブリーフ： 今行った作業をプロトタイピングだと思いますか？
博士ラリー： はい、どこかから始めなければならないので、これが最初のステップです。
テクニカルブリーフ： 実際に使用されることをどのように予測しますか？災害が発生し、当局がシステムの使用を希望しているとしたら、どうしますか？
博士ラリー： このプロトタイプは、はるかに包括的なビジョンの1つのインスタンスにすぎず、マルチロボットチームになる可能性のあるものの最小限の実装です。ここでは、空中ロボットとロボットボートの2台のロボットがありました。水を感知できることにはアクセスの課題があるため、この2つを選択しました。しかし、このチームには、地上歩行ロボットや、ロボットチーム全体を潜在的に危険な環境に運び、遠隔地に配備できる水陸両用車など、より多くのメンバーを簡単に含めることができます。
これは、野生生物の影響や漁業の影響などの写真が見られたDeepwater Horizonのような油流出に対応する可能性があり、油流出は常に発生しています。または、化学物質がこぼれる可能性があります。たとえば、ハリケーンハービーが多数の加工工場があるヒューストンを襲ったとき、それらの施設は大量に浸水し、近隣の一部は汚染された水に三方を囲まれていました。水中の揮発性有機化合物はガス放出になり、深刻な呼吸の問題を引き起こしました。人々は自分が何を呼吸しているのかわかりませんでしたが、それが自分たちに影響を及ぼしていることは知っていました。清掃に行く労働者も汚染された水の影響を受けていました。
当社のセンシングシステムを使用すると、何を扱っているかを正確に把握できるため、応答を適切に調整できます。しかし、それは有害なアオコのような他の場合にも同様に当てはまる可能性があります。または、災害が発生していない場合でも、このタイプの機能を使用して、生態系の特性を明らかにし、インフラストラクチャの調査を行うことができます。たとえば、道路、鉄道、橋など、センシング機能を備えた自律型ロボットが詳細な測定を迅速に行うことができます。
次に、別のシナリオを想像してください。この例のように空中ロボットを持っているとしましょう。ハイパースペクトル、熱、および合成開口レーダーを使用して、表面のテクスチャを確認し、地中レーダーを備えた地上ロボットと組み合わせて、ボイドやその他の障害を探すことができます。トンネルであろうと道路であろうと、空洞は使用と風化によって形成されます。農業のために私たちにできるさまざまなシナリオもあります。これは、プラグアンドプレイのように一緒に使用できるレゴブロックのように、包括的なセンシングになるように設計されています。リアルタイムのデータ主導の意思決定が透明性を高め、人々を危険にさらさないようにする、さまざまな実際のユースケースに迅速に使用できるようになります。
テクニカルブリーフ： 誰かがこのシステムを使用したい場合、彼らは特注のロボットとドローンを持っている必要がありますか、それとも既存のデバイスにマウントできるパッケージを持っていますか？これが実用化されることをどのように想像しますか？
博士ラリー： 私は何年もの間、物事を連携させるのに苦労しなければなりませんでした。機器を購入することと、コンポーネントが連携することは別のことです。私たちが購入したものはすべて既製でした。なぜなら、私たちの努力は、より良い言葉を求めて、ソフトウェア統合のような賢いものに費やされたからです。
そうは言っても、機械学習を使用しているこれらのソフトウェア設計センサーの重要なステップは、参照に対してキャリブレーションするか、オンザフライで学習することです。私たちは、空気の質について同じタイプのアイデアを使用し、非常に高価な参照センサーに対して較正された低コストのセンサーを都市全体に配布しています。以前はコストが法外に高かった近隣規模でセンサーを展開できます。
このロボットチームとほぼ同じ方法で、リファレンスに対して低コストのセンサーをキャリブレーションできるようにすることで、リモートセンシング機能によって行われたハイパースペクトル測定を、その場の組成（この場合は水）に対してキャリブレーションしました。そうでなければ非常に困難なことを達成することができます。
これは実際にはセンサーのネットワークであり、機械学習を使用して協調して動作する自律的な歩哨のネットワークであり、これらのコンポーネントが単独で実行できるよりもはるかに多くのことを実行できます。
テクニカルブリーフ： これが商業化され、民間企業によって建設されると思いますか、それとも政府が関与していると思いますか？今後はどうなると思いますか？
博士ラリー： 今後の私の夢は、個人、自治体、企業がこれらのタイプの機能にすぐにアクセスでき、センサーだけでなくバックエンドサービスも利用できる店舗を作ることです。そのため、このようなものを一緒にプラグアンドプレイすると、それはうまく機能し、長い開発を経る必要はありません。国立科学財団はこれをサイバーフィジカルシステムとして分類しています。サイバーフィジカルシステムは基本的に、アルゴリズムと組み合わせたセンシングシステムであり、より適切でタイムリーな意思決定を支援します。
ですから、これらすべてに対する私の夢、そして私たちの何人かが取り組んでいること、そしてあらゆる種類のパートナーを歓迎することは、サイバーフィジカル社会観測所を持つことです。巨大な望遠鏡を備えた天文台のような国立施設でなければなりません。他の誰もその規模で何かをする余裕がないからです。
これで、複数のコンポーネントを備えた一連のセンシング機能があると想像してください。このプロジェクトでは、空中ロボットとロボットボートです。しかし、私たちのシステムには、実際にはさまざまなタイプの状況に対応する9つのセンチネルタイプがあります。衛星や気象レーダーからのリモートセンシングが利用できます。航空機のほかに、ストリートレベルのセンサー、24時間年中無休の空気品質、光強度、電離放射線などがあります。歩行ロボット、電気地上車両、ロボットボートがありますが、ウェアラブルセンサーもあります。
また、衛星からのグローバルな全体像からマルチスケールセンシングを実現できるようにしたいと考えています。では、ハリケーンハービーの例に戻りましょう。ハリケーンハービーが上陸するずっと前に、衛星でそれを見ることができました。そして、それが上陸に近づくにつれて、気象レーダーでそれを見ることができました。しかし、それが上陸した瞬間に、微小環境の詳細が重要になります。特定のストリームの正確な高さは、ローカル環境に非常に大きな違いをもたらす可能性があります。ですから、あなたと私は非常にローカライズされたスケールで生活しているので、グローバルな大規模なスケールとハイパーローカルなスケールの両方に関する情報が必要です。大規模とローカル規模の両方を同時に感知できるようにするには、実際には複数の番兵が必要です。
しかし、ウェアラブルセンシングも非常に重要です。たとえば、私たちが行っている並行作業のいくつかでは、空気の質が悪いと「馬鹿げている」というニュースの見出しが表示されます。しかし、どれほど愚かですか？どのような汚染物質が私たちを他の汚染物質よりも困惑させる可能性がありますか？そのため、私たちの研究の1つでは、包括的な生体認証を使用し、1秒間に16,000を超えるパラメーターを測定し、約2,000の環境パラメーターを包括的に環境センシングして、環境状態が自律神経反応にどのように影響するかを確認しています。
これらはすべて、人々を危害から遠ざけるための全体的な感知であると同時に、私たちの健康に影響を与える可能性のある部屋の中の目に見えない象を見つけるように設計されています。それが何であるかを理解し、それを定量化できるようになると、通常、データに基づく意思決定の明らかな道筋があり、物事を改善し、適切な次のステップを踏んで進捗状況を監視します。
それは本当に私の夢です—人々を危害から遠ざけるためのこの全体的な感知の触媒になること：社会に奉仕する感知。使用できるようになるまで、多くのプロトタイプを作成しようとしています。したがって、政府、個人、地方自治体、コミュニティグループ、企業など、それを促進するためのパートナーシップを常に歓迎します。私たちはこれらすべてのタイプのエンティティと協力しています。
テクニカルブリーフ： まったく新しい種類のインフラストラクチャを発明しているようですね。
博士ラリー： 私たちは試みています—それは基本的にニーズによって動かされています。全体論的な情報は、適切な決定を下すための情報を私たちに提供することによって、そのような大きな違いを生むことができます。適切なインフラストラクチャなしでそれを行うのは簡単ではありません。
テクニカルブリーフ： すばらしいですね。いつか実装できることを願っています。
博士ラリー： 私も私も。私たちは長い道のりを歩んできました。私たちは最初の一歩を踏み出していると思います。
もう1つは、私が到達できなかった身体の外にあります。学校の欠席主義のようなものがあり、それが学習成果の低下につながる可能性があるということです。しかし、欠席主義は喘息などが原因である可能性があることがよくあります。喘息は花粉や大気汚染が原因であり、実際には一連の影響があります。社会は環境と相互作用しています。これが単なる一方向のものであってはなりません。観測のきっかけは、直接感知することだけでなく、健康上の結果のクラスターや、漁業を奪う可能性のある藻類の異常発生、油流出などの社会的問題の両方からのものである必要があります。これは双方向の相互作用です。
これらすべての環境パラメータレイヤーを、死亡率の傾向、欠席主義、癌の発生率などの社会レイヤーと統合できるデータプラットフォームを持つことで、個人を支援する意思決定プロセスをより透明で効果的にすることができます。
>テクニカルブリーフ： 今何に取り組んでいますか？次のステップは何ですか？
博士ラリー： ボートと空中車両を備えたこの特定のロボットチームの次のステップは、その自律型チームのさまざまな側面を強化することです。そして、それを拡張して、チームのメンバーを増やしたいと考えています。たとえば、水陸両用の地上車両を使用して、ボートと航空機の両方を汚染された環境に運び、それを展開しながら、独自に測定を行うことができます。また、ロボットを修復の一部にするため。
さまざまなコンポーネントが連携して機能します。同じタイプのチームを使用して、道路、鉄道、橋などのインフラストラクチャの保守を検討したり、環境品質の他の側面（空気の質、水質）を調べたりすることもできます。つまり、この概念実証は、「これは本当に可能であり、今では非常に多くの異なるアプリケーションでスケーリングしたい」ということを示すための単なるプロトタイプでした。
また、これらは衛星ミッションのプロトタイプになる可能性があります。航空機の概念実証があるパイプラインを想像することができます。その後、たとえばCubeSatなどの他のプラットフォームに移行する可能性があります。これは、検証プロセスの一部であり、衛星ミッションのデータを収集するだけでなく、私が言及したさまざまな目的のデータを収集することもできます。
このインタビューの編集版は、TechBriefsの2021年6月号に掲載されました。
センサー