Linuxスーパーコンピュータで16,384個のWindowsアプリを5分で起動

• MIT研究者たちが、Lincoln Lab LLMapReduce技術とWine Windows互換レイヤーを用いて、16,384個のWindowsアプリケーションをLinuxスーパーコンピュータ上で同時に実行するモデルを開発。
• 5分以内に起動完了（各アプリケーションは1コアで処理）。

Moore's Lawのペースが低下しているため、アプリケーション性能向上のために並列処理の活用が必要になっています。ニューラルネットワーク、物理シミュレーション、データ分析アプリケーションは著しい速度で進化し、並列処理の力を利用して性能目標に到達しています。

このようなデータ集約型アプリケーションを実行するには、Microsoft Windowsのような特定OSベースの複数ソフトウェアが必要です。Windowsは並列コンピューティング実装の長い経験を持っています。

しかし、世界トップ500スーパーコンピュータはLinuxで稼働しており、数千コアでインタラクティブアプリケーションを数秒で実行できます。通常、WindowsプログラムをLinuxコンピュータで実行するために仮想マシン（VM）が使用されますが、これはアプリケーションに多くのオーバーヘッドを課します。

スーパーコンピュータで複数VMを実行すると、1VMあたり数秒（時には数分）かかります。既存スーパーコンピュータで数千コアにスケールさせると、効率と性能の問題が生じ、大量のWindowsアプリケーションを同時にスーパーコンピュータで実行することが困難になります。

現在、MITの研究チームは、現代のスーパーコンピュータで数千プロセッサ上でWindowsアプリケーションを迅速に起動・実行する新技術を開発しました。特に、16,000個のWindowsアプリケーションを5分以内で起動することを実証しました（各アプリケーションは1コアで処理）。

仕組み

LinuxスーパーコンピュータでWindowsアプリケーションを高速起動するため、研究者たちはLincoln Lab LLMapReduce（マルチレベルMap-Reduce）技術とWine Windows互換レイヤーを使用しました。ハイパフォーマンスコンピューティングでは、マルチレベルスケジューリングが分析コードをわずかに変更し、単一ジョブ起動で多数のデータセットを処理できるようにします。

MIT SuperCloudソフトウェアスタックには、LLMapReduceへのアクセスを提供する使いやすいインターフェースが付属し、数千タスクをクラスタ上で効率的に実行し、複雑な並列スケジューリング、依存関係解決、タスク送信ジョブを1行のコードに削減しながら、各タスクのレイテンシを最小化することでタスク性能を同時向上させます。

LLMapReduceは特定言語に依存しないため、あらゆる実行ファイルで動作し、多数のWineインスタンスを同時に起動するのに最適です。

SLURMスケジューラのコンポーネント | 研究者提供

オープンソースジョブスケジューラ「Slurm Workload Manager」を使用し、リソースを迅速に特定、タスクに割り当て、割り当てリソース上でタスク実行をスケジュール、起動、実行中タスクを監視、タスク終了時のエピログクリーンアップを実行します。

参照：arXiv:1808.04345

結果

Windowsインスタンスの起動時間と起動レート

研究者たちは、648コンピュートノード（各ノードは最低64個のXeon Phiプロセッシングコア）を含むスーパーコンピュータでシステムを実装し、合計41,472コアを持ちました。1,2,4,8...256ノードで単一Windowsインスタンスを実行し、続いて256ノードそれぞれで2,4,8...64インスタンスを実行し、合計16,384の同時インスタンスを達成しました。

関連記事：メモリ処理ユニットがAIアルゴリズムを効率的に実装

これらすべてのインスタンスはほぼ5分で実行完了し、スーパーコンピュータ上で幅広い実行可能Windowsアプリケーションを可能にしました。チームはこの機能を、より多くのプロセッサでより多様なプログラムを実行する方向に拡張する計画です。