スタックセンサーアーキテクチャは、高度なビジョン機能をもたらします

パリ—今週、サンフランシスコで開催された国際固体回路会議（ISSCC）で、ニューロモーフィックビジョンシステムのパイオニアであるパリを拠点とするスタートアップであるPropheseeが、ソニーと共同開発した新しいスタックイベントベースのビジョンセンサーを発表しました。

Propheseeのイベント駆動型テクノロジーによって設計された新しいセンサーは、高度なスタック型CMOSイメージセンサー用にソニーが設計したテクノロジーに基づいて構築されました。

Pixelチップ（左）とロジックチップ（出典：Prophesee）

イベント駆動型システムの場合、新しいセンサーは業界最小のピクセルサイズと業界最高のハイダイナミックレンジ（HDR）パフォーマンスを提供するとPropheseeは主張しました。脳に着想を得たセンサーにより、産業用機械、ロボット、自動運転車が環境をよりよく認識し、感知できるようになります。

このパートナーシップは、AI（AIセンシングとAI処理の両方）が、データが生成されるセンサー自体ではなくても、センサーの非常に近くで行われる可能性がある新しい時代を告げる可能性があります。

預言者CEO、ルカ・ヴェール

2つの会社にとって何が含まれていますか？

ソニーは世界をリードするCMOSイメージセンサー企業です。そのパートナーシップは、Propheseeの新しいセンシング技術に商業的信頼性をもたらします。 PropheseeのCEOであるLucaVerreは、この動きがPropheseeのイベントベースのカメラのマスマーケット機会への扉を開くことを望んでいます。

「多くのトランジスタ、電子機器、フォトダイオードを使用する当社の技術の性質を考えると、ソニーとの協力は常に私たちの最初の選択肢でした」とVerreは EE Times に語りました。 。両社は2017年に協力を開始しました。Verreは、最初の積み重ねられたイベントベースのビジョンセンサーのサンプルが2020年に利用可能になると約束しました。

予言者とのパートナーシップは、ソニーにとって画期的なものであり、日本の巨人にイベント駆動型のビジョン技術を探求する機会を与える可能性があります。

パンドラの箱

YoleDéveloppementの主任アナリストであるPierreCambouは、Prophesee-Sonyのパートナーシップを「パンドラの箱を開ける」ことと同等であると考えています。

ピエールカンボウ

Propheseeによって開発されたニューロモルフィックカメラでは、「各ピクセルは本質的にニューロンです」とCambou氏は述べています。チップスタッキング開発を「まだ初期段階」と呼んで、Cambouは、将来的には、ニューロン、メモリ、および処理がすべて一緒にスタックされる可能性があると予測しました。より多くのインテリジェンスを「エッジ」または「エンドポイント」にもたらすことへの現在の熱意は、AIがセンサー内で検知および処理される将来の1日を予見します。

ソニーは、「オンザフライで画像を強調できる」AI統合イメージセンサーを開発したり、「イベントベースのセンシングを直接提供する」イメージセンサーを作成したりできるようになるでしょう。

実際、誰かがすでにニューラルネットワークを「ラシオタ駅への電車の到着」に適用しています。— 1896年にリュミエール兄弟が撮影した有名な初期の映画—不足しているピクセルを埋めるために。その努力により、124年前の映画を毎秒60フレームで4Kビデオに復活させてアップスケールすることが可能になりました。 Cambouは、インターネットで大流行しているようなアップスケールされたビデオについて説明し、AIの力はイメージングの世界で十分に証明されていると説明しました。

AIへの生体模倣アプローチは、フォンノイマンコンピューティングの代替手段です。 「AIが普及するにつれて、その重要性が増します」とCambou氏は述べています。

1896年にリュミエール兄弟が撮影した「ラシオタ駅への列車の到着」は、4K、60フレーム/秒にアップスケールされました。デニス・シリヤエフ

スタックイベントベースのビジョンセンサーの構成要素

新設計のイベント駆動型センサーでは、ピクセルチップ（上）とロジックチップ（下）が積み重ねられています。このロジックには、非同期デルタ変調方式に基づいて輝度の変化を検出するように設計された信号処理回路が組み込まれています。

2つの個別のチップの各ピクセルは、スタック構成で銅-銅接続を使用して電気的に接続されます。

これにより、新しいセンサーは業界最小（4.86μm）のピクセルサイズを実現できます。また、40nmのファインロジックプロセスとの高密度統合を実現することで、1/2タイプの1280×720HD解像度を実現します。

新しいイベント駆動型センサーのもう1つの機能は、Propheseeが主張する業界最高のHDRパフォーマンスである124 dB（またはそれ以上）を提供する機能です。チームは、裏面照射型ピクセルとN型MOSトランジスタの一部のみをピクセルチップ（上）に配置することでこれを実現しました。予言者によると、これにより開口率が最大77％向上します。ソニーがCMOSイメージセンサーのために長年にわたって開発した高感度/低ノイズ技術により、暗い場所（40mlx）でのイベント検出が可能になりました。

分業？

預言者のCEOであるVerreは、パートナーシップにおけるソニーの役割は鋳造所に限定されていないと述べました。確かな知識とイベントベースのテクノロジーに関する独自のIPポートフォリオを備えたヴェール氏は、「ピクセルをどのように設計したいかについて明確なアイデアを持ってテーブルに着きました」と述べています。両社の共同作業により、アナログ、ロジック、電源から、ソニーの高度な製造プロセスと組み合わせた新しいイベント駆動型センサー設計が可能になりました。

Verre氏は、この関係は純粋なR＆D演習でもありません。その意図は、アプリケーションの開発中にテクノロジーを商用市場にもたらす長期的なパートナーシップを維持することです。

これはソニーにとってどういう意味ですか？

世界には、CMOSイメージングセンサーの多くのプレーヤーがいます。 Cambouは、ソニーがCMOSイメージセンサーは「もはやイメージングだけでなく、実際にはセンシングについて」であるという予測を心に留めていることを観察しました。福音のCambouは長い間説教してきました。

3Dセンシングコンピュータビジョン技術の開発者であるベルギーを拠点とするSoftKineticをソニーが2015年に買収したことを覚えていますか？ Cambou氏によると、この買収により、ソニーは、Androidスマートフォンベンダーが昨年突然要求し始めた飛行時間型（ToF）センサーの成長市場でシェアを獲得することができました。当時、ソニーが深度検知技術に手を出さなかったとしたら、ソニーに何が起こったのか想像してみてください。

彼の意見では、預言者とのパートナーシップも例外ではありません。自動車および産業用マシンビジョン市場のプレーヤーが運用を強化するために、より豊富なセンシングデータを探し始めると、さらに別の同一のカメラを投入する代わりに、新しいセンシングテクノロジーを追加する可能性が高くなります。

つまり、SoftKineticがソニーが「DepthSense」ソリューションを開発してスマートフォンに進化させることを可能にしたように、Propheseeはソニーがイベント駆動型イメージセンサー市場に参入できるようにする企業になる可能性があります。

現在、ソニーはDepthSenseテクノロジーを使用して、ToFイメージセンサーを多くのAndroidスマートフォンに搭載しています。これにより、ソニーがスマートフォンの前面カメラと背面カメラにすでに蓄積している、CMOSイメージセンサーの設計上の勝利のホストが追加されます。