Google AI、動画の着色を通じて物体追跡を実現──自己教師ありアプローチ
Googleの研究者たちが、単一の参照フレームから後続フレームへ色をコピーする畳み込みネットワークを開発しました。この過程で、異なる物体を追跡し、遮蔽（オクルージョン）を通しても追従可能です。さらに人間のポーズ追跡も実現しています。
物体追跡の難しさと自己教師あり学習の必要性
動画内の物体追跡はコンピュータビジョンにおいて最も困難なタスクの一つです。大量のラベル付き追跡データセットが必要ですが、地球上の全てを録画・ラベル付けするのは非現実的です。そのため、膨大な未ラベル動画クリップから、人間の監督なしで追跡を学習するシステムが求められています。動画物体追跡は、物体相互作用、行動認識、動画スタイル変換など多くの応用に役立ちます。
「再着色」による追跡メカニズム
研究者たちは色の時間的一貫性（時間経過とともに色が安定している性質）を利用しました。まず動画をグレースケール化し、最初のフレームのみカラーのままにして、ネットワークに後続フレームの色を推定させます。正しい色をコピーするには、ネットワークが内部で正しい領域を指し示すことを学習する必要があり、これが物体追跡の明示的なメカニズムになります。
例外的に色が時間的に一貫しないケース（照明の急激な変化など）もありますが、一般的に色は時間とともに安定しています。
訓練と性能
Kineticsデータセット（日常活動を描写する50万動画クリップ）を使用し、最初のフレーム以外をグレースケールに変換してネットワークを訓練しました。ネットワークは単一フレームから元の色をコピーするため、内部で正しい色を指し示す仕組みを学習し、これが物体追跡に転用されます。
明示的な物体IDで訓練されていないにもかかわらず、最初の1フレームのみで任意の物体や視覚領域を追跡可能です。単一点や輪郭で指定したエンティティも追跡できます。
物体追跡への応用では、色の伝播代わりにターゲット領域を表すラベルを伝播させるだけで実現しました。
ポーズ追跡への展開
初期フレームにキーポイントをラベル付けすれば、人間のポーズ追跡も可能です。ただし、動画内で人が変形する際、各キーポイントの細かな局所化が必要なため容易ではありません。JHMDBデータセット（人間のポーズと行動に完全アノテートされたデータ）で人間の関節骨格を追跡したところ、光学フローと同等の性能を示し、最新の光学フローベース手法をわずかに上回りました。
モデルはまだ完璧ではなく、一部実験では着色とセグメント追跡に失敗しました。今後は動画着色プロセスをさらに改良し、自己教師あり追跡の精度向上を目指します。
産業技術
- 信頼性とコスト効率を高める必須PCBレイアウト戦略
- 古い回路基板を安全にリサイクル・再利用する方法
- 電池構造の基礎：セル、内部抵抗、接続性
- レーザー加工：定義、構成要素、原理、メリット・デメリット、用途を徹底解説
- 電圧倍増器の解説：ダブラー、トリプラー、クアドラプラ、コッククロフト-ウォルトン設計
- Hash製造自動化で繊維ビジネスを飛躍させる
- 卓越性センター（CoE）：目的、メリット、戦略的価値
- ポリエチレン（PE）：材料プロフェッショナルのための必須インサイト
- 産業オートメーションにおけるIoT：効率と接続性の向上
- 再生可能エネルギーを電力系統へシームレスに統合する方法
- 製造業のシナジー：協働の「衝突」が成長を加速する