Google AI、人間プログラマーを超えるコード生成に成功：AutoMLとNASNet

Google Brainチーム、AIがAIを設計するAutoMLで最先端モデル「NASNet」を自動生成

2017年5月、Google BrainチームはAutoMLと呼ばれる新しいアプローチを発表しました。これは、子モデルアーキテクチャを開発するコントローラーニューラルネットであり、特定タスクを実行するよう訓練可能です。簡単に言えば、独自のAIを生成できるAIです。

使用データセット

Google研究者たちは、Penn TreebankやCIFAR-10といった小規模な学術データセットでAutoMLをテストしました。その後、AutoMLにこれまでで最も困難な挑戦を提示することにしました。今回は、COCO物体検出やImageNet画像分類といった大規模データセットでテストし、驚くべき結果を得ました。最先端の機械学習アーキテクチャは、学術コンペティションで大規模データセットに対応するため人間によって開発されてきました。『スケーラブルな画像認識のための移転可能アーキテクチャの学習』において、Google研究者たちはAutoMLを最も人気のある2つの学術データセット、COCOとImageNetに適用しました。ネイティブにAutoMLをこれらの巨大データセットに適用すると、望ましい結果を得るまでに数ヶ月の訓練を要します。

仕組み

AutoMLは強化学習アルゴリズムと進化的アルゴリズムに基づいて構築されています。しかし、ImageNetに適用するため、大規模データセットに対してより扱いやすいよう修正しました。

1. 探索空間を再設計し、複数回柔軟にスタックして最終ネットワークを構築できる最適なレイヤーを見つけられるようにした
2. アーキテクチャ探索をCIFAR-10で実行し、学習した最適アーキテクチャをCOCO物体検出とImageNet画像分類アーキテクチャに転移させた

これらの変更により、AutoMLはCIFAR-10だけでなく、COCO物体検出とImageNet分類の両方で最適なレイヤーを見つけられるようになりました。これら2つのレイヤーを融合して、NASNetと呼ばれる新しいアーキテクチャを構築しました。NASNetアーキテクチャ（AutoML開発）には、Normal層とReduction層の2種類のレイヤーが含まれています。

結果

NASNetはImageNet画像分類で82.7%の予測精度を達成し、Google Brainチームが構築した従来のInceptionモデルを大きく上回りました。また、過去に公開・未公開の結果より1.2%優れていました。NASNetはリサイズ可能で、計算コストを低く抑えながら十分な精度を達成するモデルセットを生成できます。例えば、NASNetの小型版は74%の精度（計算コストを半分に削減）を達成し、モバイルプラットフォーム向けに設計された同サイズの最先端モデルより3%以上優れています。NASNetの精度は、様々なモデルサイズ（操作数とパラメータ数の違い）において、人間が設計したモデルを上回っています。アーキテクチャ探索と人間開発モデルのImageNet分類性能比較表では、Mult-Adds（1画像あたりの複合乗算累積演算数）で比較されています。Faster-RCNNにNASNetを用いた物体検出では、ImageNetから学習した特徴をCOCO物体検出に転移。テストでは、ImageNet学習特徴をFaster RCNNフレームワークに統合することで、COCOでの過去の予測性能を凌駕しました。最大モデルで43.1% mAPを達成し、最先端モデルの過去結果より約4%向上しました。NASNetの推論用ソースコード（画像分類用と物体検出用）はGitHubで公開されています。

今後の展望

NASNetがCOCOとImageNetで学習した特徴は、様々なビジョンアプリケーションで再利用可能です。また、このアプローチは、なぜ特定タイプのニューラルネットがこれほどうまく機能するのかを理解する手助けになります。AutoMLは機械学習分野を非専門家にも開放し、洗練されたAI搭載マシン/ロボット開発に利用可能です。研究によれば、この賢さレベルのAIは視覚障害者の視力回復を助ける可能性があります。自動運転車への応用も明らかです。交通、道路危険、歩行者の特定支援や、拡張現実で環境とのインタラクション向上にも使えます。しかし、このAIの最も興味深い応用はまだ発見されていないかもしれません。将来、Google研究チームは、このようなコンピュータ生成アーキテクチャの分析とテストに取り組み、それらを改良・より深く理解することを目指します。成功すれば、より大きなインパクトを持つ全く新しいタイプのニューラルネットにインスピレーションを与えるでしょう。