ニューロモルフィックビジョンは多様なアプリケーションを取ります

イベントベースのビジョン企業であるPropheseeは、バイオテクノロジー、科学分析、ロボット工学、宇宙技術にまたがる、世界中のビジョンセンサーの興味深いアプリケーションをいくつか紹介しました。あるプロジェクトでは、目の不自由な人の視力が部分的に回復しました。もう1つは、夜でも昼でも、空を横切るスペースデブリを追跡します。

予言者は、今日その技術で働いている2200人の発明家のコミュニティを持っていると言いました。プロジェクトは、将来の創造性を刺激することを目的としたPropheseeの発明者コミュニティの一部として紹介されています。詳細はこちらです。

視力の回復

Gensight Biologicsは、後期網膜色素変性症の患者の視覚機能を部分的に回復させました。治療では、Propheseeイベントベースの視覚センサーを備えた特別なゴーグルを使用します。

治療の一環として、患者の網膜は藻類に由来する光感受性タンパク質で治療されました。これにより、網膜細胞は琥珀色の光（590nm）に敏感になります。予言者の視力センサーは、視力信号を患者の目に照らされる高輝度の琥珀色の光に変換するゴーグルの一部です。ゴーグルを7か月使用した後、患者（以前は完全に盲目だった）は、通りにマークされた横断歩道を検出するのに十分な視界を得ることができました。彼は目の前のテーブルにあるノート（92％の確率）と筆箱（36％の確率）を識別することができました。彼は物をつかんで数えることができました。

Gensight Biologicsは、世界の画像を琥珀色の光に変換するゴーグルにPropheseeセンサーを統合しました。患者の網膜上の修飾された細胞は、この光を検出して理解することができます。 （出典：Gensight Biologics / Prophesee）

患者は、Propheseeセンサーのおかげで形状のエッジを見ることができます。これは、照明条件に対して堅牢な、高速でスムーズな視覚体験を提供します。センサーはスパースデータを生成します。画像の再エンコードに時間を費やすことはありません。

バーゼル大学-UPMCと共同で実施された研究の結果は、NatureMedicineに掲載されました。この研究は1人の患者のみを対象としており、予備的なものですが、この手法を適用し、神経変性疾患などの患者を治療するための重要な結果と見なす必要があります。

細胞治療

英国のCambridgeConsultantsは、細胞治療用の医用画像システムでPropheseeセンサーを使用しています。細胞治療は、患者自身の細胞の再プログラミングに基づいて、その応用の中でも、癌、自己免疫および神経疾患の治療の可能性を秘めています。再プログラムされた細胞の製造は骨の折れる手動プロセスであり、1回の投与で平均475,000ドルの費用がかかります。

プロセスの重要なステップは、サンプルが無菌であるかどうかをチェックします。患者が治療を待っている間、これはインキュベーションに7〜14日かかる場合があります。汚染物質が検出された場合は、新しいサンプルを採取する必要があり、インキュベーション期間が再開されます。 Cambridge Consultantsは、Propheseeのイメージセンサーを使用して細胞レベルでサンプルを調べ、AIモデルを使用して汚染物質をリアルタイムで検出、追跡、分類しました（7〜14日と比較して18ミリ秒未満）。

PureSentryは、AIと組み合わせたPropheseeセンサーを使用して、サイズ、形状、動きに基づいて汚染物質（この場合はE.coli）を検出します。 （出典：ケンブリッジコンサルタント）

Cambridge Consultantsによって開発されたPureSentryシステムは、他の技術に先駆けて、人間の細胞と汚染物質の両方を正確かつ正確に追跡できます。同社は、サイズ、形状、特徴的な動きに基づいて、サンプルから検出された大腸菌のビデオを公開しました。これは、低光や高流量などのより困難な条件で機能し、非破壊検査です。このデバイスは、細胞治療プロセスの自動化を促進するのに役立ちます。高度な技術者は必要ありません。

粒子の追跡

グラスゴー大学、ヘリオットワット大学、ストラスクライド大学のチームは、高速粒子の検出と追跡にPropheseeのイメージセンサーを使用しています。目的は、マイクロ流体分析をより速く、より安くすることです。

チームは、1.54 m / sという高速の流体速度で1µmまでの粒子をプロファイリングし、毎秒20,000画像に相当する時間分解能でデータをキャプチャすることに成功しました。彼らのセットアップでは、標準的な蛍光顕微鏡と照明を備えたPropheseeイベントベースのビジョンセンサーを使用しています。

ロボットタッチ

シンガポール国立大学の研究者は、イベントベースのビジョンを新しいタッチセンサーテクノロジーと組み合わせて使用​​して、ロボットアームと手の触覚を構築しています。

研究者によって開発されたタッチセンサー、NeuTouchは、ロボットの指先に取り付けられた39個のセンサーの配列です。このセンサーは、ニューロモルフィックプロセッサー（具体的にはIntel Loihi）で処理できるPropheseeセンサーと同様の「スパイク」信号を生成します。

シンガポール国立大学のNeuTouchセンサーは、サイズが人間の指に匹敵し（A）、骨や皮膚に類似したパーツで構成され（B）、39個の触覚ピクセルまたは「触覚」（C）を含みます。 （出典：シンガポール国立大学/予言者）

この作業は、電力に制約のあるシステムでの複雑なタスクに適した方法で、複数のセンサー（タッチセンサーとPropheseeセンサー）からのデータを同時に統合して意味を抽出する方法を示すため、重要です。

ロボットは、さまざまな量の液体が入った容器を拾うように訓練されました。それは液体が何であるか、そしてそれがどれくらいの重さであるかを決定することができました。重量情報は、ピックアップ時に各コンテナがどのように変形したかにより、ビジョンセンサーから取得されました。

ロボットは「スリップテスト」でテストされました–オブジェクトをしっかりとつかむために必要な最小圧力量を決定します。タッチと視覚の検知の組み合わせにより、システムはスリップを非常に迅速に検出でき、人間のタッチよりも1000倍速く、0.08秒で回転スリップを検出できました。

研究者たちは、この技術が産業用ロボット工学に使用され、義手の触覚を回復するためにも使用されることを望んでいます。

EE Times を読む ’このエキサイティングなテクノロジーに関するレポートはこちら。

スペースデブリ

ウエスタンシドニー大学は、望遠鏡と組み合わせたPropheseeテクノロジーを使用して、地球の周りの軌道にあるスペースデブリを追跡するモバイル天文台であるAstrositeを開発しました。

配備の準備ができている天体望遠鏡天文台（出典：ウエスタンシドニー大学）

軌道上にある衛星の数が増えるということは、他の物体と衝突するリスクが高まっていることを意味します。宇宙には約4850の衛星がありますが、アクティブなのは約40％だけです。死んだ衛星やその他の破片の監視は通常、高解像度カメラで行われますが、これは日光の下での画像のキャプチャには理想的ではありません。また、ほとんどが空のスペースをキャプチャするため、多くの不要なデータが処理されます。

イベントベースのセンシングは、視野の変化に関するデータをキャプチャするため、優れたソリューションです。 Astrositeは、Propheseeイベントベースのセンサーを使用して、従来のカメラシステムよりも10倍から1000倍少ないデータを生成します。また、低電力でマイクロ秒の時間分解能で（昼夜を問わず）破片を継続的に監視できます。

>>この記事は、もともと姉妹サイトであるEE TimesEuropeで公開されました。

---

>

関連コンテンツ：

• スパイキングニューラルネットワーク用のニューロモルフィックAIチップがデビュー
• センサーフュージョンによりロボットグリップが可能になります
• スタックセンサーアーキテクチャは、高度なビジョン機能をもたらします
• 機械学習アルゴリズムはReRAMの変動性を利用します
• ツールはバリューチェーンを上に移動して、ミステリーをビジョンAIから外します

Embeddedの詳細については、Embeddedの週刊メールニュースレターを購読してください。