AlphaZero：GoogleのAIがチェスと囲碁を24時間で制覇

ボードゲームAIの新たな頂点：AlphaZeroがチェス、将棋、囲碁で超人級性能を達成

ボードゲーム（チェスなど）は、人工知能の歴史において広く研究されてきた分野です。チューリング、バベッジ、フォン・ノイマン、シャノンといった先駆者たちが、チェスゲームの分析とプレイのための理論、アルゴリズム、ハードウェアを開発しました。近年では、囲碁や将棋（日本のチェス）といったより複雑なゲームで人間を凌駕するプログラムが登場しています。GoogleのDeepMindはボードゲームで人間を破る驚異的な実績を持っています。2015年、AlphaGoがプロ棋士に勝利した最初のコンピュータ囲碁プログラムとなりました。そして今、チェスのルールのみを与えられ、ランダムなプレイから開始して、わずか4時間で世界最強プログラム（Stockfish、Deep Blue含む）を撃破するAlphaGoプログラムを開発しました。従来のボードゲームAIは特定ドメインに高度に最適化され、人間の介入なしに他問題へ汎用化できません。一方、AlphaZeroは、チェス、将棋、囲碁の複数の困難なドメインで超人級性能を達成可能です。ゲームルール以外の事前知識なし、ランダムプレイから開始し、24時間以内に3つ全てのゲームで超人級プレイレベルに到達し、各分野の世界最強プログラムを破りました。その手法と正確な結果を見ていきましょう。

方法論

2017年10月、DeepMindはAlphaGo Zeroアルゴリズムが、深層畳み込みニューラルネットワークと強化学習のみで訓練され、超人級性能を達成したことを発表しました。エンジニアたちは同じアプローチで、従来のゲームプレイアルゴリズムで使用されていたドメイン固有の拡張と手作り知識を、深層ニューラルネットワークとタブララサ（白紙）強化学習アルゴリズムで置き換えた汎用アルゴリズムAlphaZeroを構築しました。AlphaZeroは、アルファベータ探索ではなく、汎用のMCTS（モンテカルロ木探索）アルゴリズムを使用します。自己対戦で価値推定と着手確率を学習し、学習した情報で探索をガイドします。

AlphaGo Zeroアルゴリズムとの違い

AlphaGo Zeroは、勝敗という二値結果を考慮して勝率を推定・最適化します。一方、AlphaZeroは、引き分けや他の潜在的結果を考慮して期待結果を推定・最適化します。囲碁のルールは反転と回転に対して不変です。この事実はAlphaGoとAlphaGo Zeroで2通りに活用されました：(1) 8つの対称性を生成して訓練データを拡張、(2) MCTSアルゴリズムでニューラルネットワーク計算前にランダムな反転や回転で局面を変換し、計算を異なるバイアスで平均化。チェスと将棋ではルールが非対称で、一般に対称性を仮定できません。AlphaZeroでは訓練データを拡張せず、MCTS中に局面変換を行いません。AlphaGo Zeroは前回イテレーションの最強プレイヤーで自己対戦ゲームを生成し、各イテレーション完了後に新プレイヤーの性能を最強プレイヤーと比較、55%以上の勝率なら最強プレイヤーを置き換えます。一方、AlphaZeroは単一のニューラルネットワークを継続的に更新し、イテレーション完了を待ちません。

AlphaZeroの最適化と訓練

AlphaZeroは、ゲーム固有の最適化なしで全ゲームに共通のハイパーパラメータを使用します。探索を保証するため、そのゲームの合法手数に比例してスケーリングされるノイズ因子を統合しています。AlphaGo Zeroと同様に、盤面状態は空間平面でエンコードされ、アクションは各ゲームの基本ルールに基づき空間平面またはフラットベクトルでエンコードされます。開発者たちはAlphaZeroをチェス、将棋、囲碁に適用しました。同一のネットワークアーキテクチャ、ハイパーパラメータ、設定を全3ゲームで使用し、各ゲームごとにアルゴリズムの個別インスタンスを訓練しました。ランダムに初期化されたパラメータから開始し、70万ステップ訓練を実施。第1世代Tensor Processing Unit（TPU）5000個で自己対戦ゲームを生成し、第2世代TPU 64個でニューラルネットワークを訓練しました。

結果

図示の通り、AlphaZeroはチェスで30万ステップ（4時間）後にStockfishを、将棋で11万ステップ（2時間）後にElmoを、囲碁で16.5万ステップ（8時間）後にAlphaGo Leeを上回りました。完全訓練済みインスタンス（3日間訓練）をAlphaGo Zero、Elmo、Stockfishと対戦させ、1分/手のタイムコントロールで各100試合実施。結果は驚異的でした。AlphaGo ZeroとAlphaZeroは4 TPUの単一マシンを使用、ElmoとStockfishは64スレッドと1GBハッシュサイズで最高性能を発揮。AlphaZeroは全てに勝利し、Elmoに8敗したのみでStockfishには無敗でした。Google開発者たちはAlphaZeroのMCTS探索性能も検証しました。将棋で秒間4万局面、チェスで8万局面を探索するのに対し、Elmoは3500万、Stockfishは7000万局面を探索します。AlphaZeroは深層ニューラルネットワークを用いて、最も有望な選択肢により選択的に焦点を当て、より人間のようなアプローチを取ります。AlphaZeroはまだ初期段階ですが、重要な一歩を踏み出しました。類似アプローチがタンパク質折りたたみ、新素材発見、エネルギー消費削減などの構造化問題に適用できれば、成果は我々の未来にプラスの影響を与える可能性があります。