DeepLabCut：移動する種の体の部分を追跡するためのオープンソースAI

• 新しいディープラーニングベースのアルゴリズムは、最小限のトレーニングデータを使用して、移動する種の体の部分を追跡してラベルを付けます。
• 計算体モデル、時間データ、棒人間は必要ありません。

あらゆる種の脳を理解するには、その行動を正確に定量化する必要があります。ビデオトラッキングは、さまざまな構成で動物の行動を観察および記録するための最良のオプションの1つです。分析が大幅に簡素化され、体の部分の高精度なトレースが可能になります。

ただし、詳細な調査のために行動の特定の側面を抽出することは、退屈で時間のかかるプロセスになる可能性があります。既存のコンピューターベースの追跡では、反射マーキング（体の部分がマーカーで強調表示されます）を使用します。この場合、記録する前にマーカーの位置と数を決定する必要があります。

現在、ハーバード大学とテュービンゲン大学の研究者は、移動する種の体の部分を自動的に追跡してラベルを付けるDeepLabCutという名前のAIツールを開発しました。このマーカーのないポーズ推定手法は、最小限のトレーニングデータで適切な結果を提供するディープラーニング手法に基づいています。

彼らは正確に何をしましたか？

研究者は、最近開発された複数人の姿勢推定モデル、DeeperCutからの特徴検出器アーキテクチャを調べました。彼らは、人間のような精度を達成するためにこのニューラルネットワークをトレーニングするには、少量のトレーニング写真（約200枚）で十分であることを示しました。

これは、あるタスクでトレーニングされたモデルを別の関連タスクに適用する機械学習手法である転移学習によって可能になりました。この研究では、集中的に深いニューラルネットワークに基づく特徴検出器が、オブジェクトを認識するために巨大なデータセット（ImageNet）で事前にトレーニングされました。

したがって、より少ないフレーム（数百）にラベルを付けることで、これらの堅牢な機能検出器をトレーニングできます。トレーニングが完了すると、実験的に関連するさまざまな体の部分を特定できます。

研究者は、匂いに導かれるナビゲーションタスク中に耳、鼻、尾の付け根を追跡することにより、DeepLabCutの機能を実証しました。彼らはまた、3Dチャンバー内のミバエのいくつかの部分を追跡しました。

ニューラルネットワークは、NVIDIA TitanXpおよびGeForceGTX 1080 Ti GPUでトレーニングされており、TensorFlowはCUDAディープラーニングフレームワークによって高速化されています。このような強力なハードウェアを使用すると、682 * 540サイズのフレームを30fpsで処理できます。

このツールは、ビデオ撮影から抽出された姿勢推定に基づいてリアルタイムのフィードバックを提供することができます。さらに、種の周囲で入力フレームを適応的にトリミングして処理速度をさらに向上させたり、ネットワークアーキテクチャを適応させて処理時間を短縮したりできます。

参照：arXiv：1804.03142 | GitHub

全体として、DeepLabCutは4つの段階で機能します。

1. ラベル付けのためにビデオから複数のフレームを抽出します
2. ラベルを使用してトレーニングデータを生成する
3. 必要な機能セットに従ってニューラルネットワークをトレーニングする
4. ラベルのないデータからこれらのフィーチャの位置を抽出します。

研究者の礼儀

これはどのように役立ちますか？

上記の方法では、計算本体モデル、時間データ、棒人間、または複雑な推論アルゴリズムは必要ありません。コンピュータビジョンに質的に異なる課題をもたらす複数の行動に迅速に展開できます。

研究者はショウジョウバエ、マウス、馬でDeepLabCutを実証しましたが、この方法に制限はなく、他の種にも適用できます。

読む：スパムフィルタリングAIは動物の行動を学習する28

ビデオ撮影を通じて動物を追跡することで、動物の生体力学に関する新しい洞察を明らかにし、脳がどのように機能するかを理解するのに役立ちます。人間の場合、理学療法で使用される技術を改善し、アスリートがこれまで不可能だったマイルストーンに到達するのに役立ちます。