スマートカメラが視覚世界を理解する――画像平面上でのCNN実装
ロボティクスとAI研究者たちは、現在のシステムが世界をセンシングし処理する方法に問題があることを認識しています。現在、画像記録用に設計されたデジタルカメラなどのセンサーと、ビデオゲーム用グラフィックス高速化向けに設計されたGPUなどの計算デバイスを組み合わせて使用しています。
従来アーキテクチャの非効率性
これは、AIシステムがセンサーとプロセッサ間で視覚情報の記録と伝送を行った後にのみ世界を認識することを意味します。しかし、自律走行車が脇道の木々の葉の詳細など、目の前のタスクにとって無関係な多くの視覚情報が存在します。現在、これらすべての情報がセンサーによって細部まで取得され、システムを詰まらせ、電力を消費し、処理時間を要しています。
生物視覚システムからの着想
研究者たちは、自然システムが視覚世界を処理する方法から着想を得ました。人間の目と脳は協働して世界を理解し、場合によっては目自体が処理を行い、脳にとって無関係な情報を削減します。研究者たちは、視覚理解を可能にするAIアルゴリズムの一種である畳み込みニューラルネットワーク（CNN）を画像平面上に直接実装。CNNは、これらの画像を決して記録したり処理パイプラインに送ったりすることなく、毎秒数千フレームでフレーム分類を実行できます。手書き数字、手指ジェスチャー、さらには植物プランクトンの分類実証を行いました。
インテリジェント専用AIカメラの未来
この研究は、インテリジェントな専用AIカメラ、すなわちカメラ前方で起きている物体やイベントのタイプなど、ハイレベルな情報をシステムの他部分に単純に送信できる視覚システムを備えた未来を示唆します。このアプローチにより、画像を記録する必要がなくなるため、システムをはるかに効率的かつ安全にできます。
SCAMP：ピクセルプロセッサアレイ
この研究には、チームが「ピクセルプロセッサアレイ（PPA）」と説明するカメラ・プロセッサチップ「SCAMP」が組み込まれています。PPAには各ピクセルにプロセッサが埋め込まれており、互いに通信して真に並列な処理を実行。これはCNNとビジョンアルゴリズムに最適です。
センシング、処理、メモリをピクセルレベルで統合することは、高性能・低レイテンシシステムを可能にするだけでなく、低消費電力・高効率ハードウェアを約束します。SCAMPデバイスは、現在のカメラセンサーと同様のフットプリントで実装可能ですが、画像取得ポイントに汎用的・大規模並列プロセッサを配置する能力を備えています。
センサー