カメラは彼らが見ているものを学び、理解します
ロボット工学者と人工知能（AI）の研究者は、現在のシステムが世界をどのように感知して処理するかに問題があることを知っています。現在、画像を記録するために設計されたデジタルカメラなどのセンサーと、ビデオゲームのグラフィックスを高速化するように設計されたグラフィックスプロセッシングユニット（GPU）などのコンピューティングデバイスを組み合わせています。
つまり、AIシステムは、センサーとプロセッサーの間で視覚情報を記録して送信した後にのみ、世界を認識します。しかし、自動運転車が通り過ぎるときの道端の木の葉の詳細など、目に見える多くのことは、目前の作業とは無関係であることがよくあります。現時点では、これらの情報はすべてセンサーによって詳細にキャプチャされ、無関係なデータでシステムを詰まらせ、電力を消費し、処理時間を費やしています。
研究者は、自然のシステムが視覚世界を処理する方法からインスピレーションを得ています。人間の目と脳が連携して世界を理解し、場合によっては、目自体が処理を実行して、脳が関連性のないものを減らすのを助けます。研究者は、視覚的理解を可能にするAIアルゴリズムの形式である畳み込みニューラルネットワーク（CNN）を画像平面に直接実装しました。 CNNは、これらの画像を記録したり、処理パイプラインに送信したりすることなく、1秒間に数千回フレームを分類できます。研究者たちは、手書きの数字、手のジェスチャー、さらにはプランクトンを分類するデモンストレーションを検討しました。
この研究は、インテリジェントな専用AIカメラの未来を示唆しています。これは、カメラの前で発生するオブジェクトやイベントの種類など、システムの他の部分に高レベルの情報を簡単に送信できるビジュアルシステムです。このアプローチでは、画像を記録する必要がないため、システムがはるかに効率的で安全になります。
この作業には、チームがピクセルプロセッサアレイ（PPA）と呼ぶカメラプロセッサチップであるSCAMPが組み込まれています。 PPAには、各ピクセルに埋め込まれたプロセッサがあり、相互に通信して真に並列な形式で処理できます。これは、CNNとビジョンアルゴリズムに最適です。
ピクセルレベルでのセンシング、処理、およびメモリの統合は、高性能で低遅延のシステムを可能にするだけでなく、低電力で高効率のハードウェアを約束します。 SCAMPデバイスは、現在のカメラセンサーと同様のフットプリントで実装できますが、画像キャプチャの時点で汎用の超並列プロセッサを搭載することができます。
センサー