わずか 5 分で Linux スーパーコンピューター上で 16,384 個の Windows アプリを起動

• MIT の研究者は、Linux スーパーコンピューター上で 16,384 個の Windows アプリケーションを 5 分以内に同時に実行するモデルを開発しました。 
• これを行うために、Lincoln Lab LLMapReduce テクノロジーと Wine Windows 互換性レイヤーを使用しました。

ムーアの法則の速度が低下しているため、アプリケーションのパフォーマンスを向上させるために並列処理を使用することが必要になってきています。ニューラル ネットワーク、物理シミュレーション、データ分析アプリケーションは急速に進化しており、パフォーマンス目標を達成するために並列処理の力を利用しています。

このようなデータ集約型アプリケーションを実行するには、並列コンピューティングの実装に長い経験を持つ Microsoft Windows など、特定のオペレーティング システムをベースにしたいくつかのソフトウェアが必要です。

ただし、世界のトップ 500 のスーパーコンピューターは Linux 上で実行されており、数千のコアで対話型アプリケーションを数秒で実行できます。通常、仮想マシン (VM) は、Linus コンピュータ上で Windows プログラムを実行するために使用されます。これにより、アプリケーションに多大なオーバーヘッドが生じます。

スーパーコンピューター上で複数の VM を実行すると、仮想マシンごとに数秒 (場合によっては数分) かかる場合があります。既存のスーパーコンピュータでそれらを数千コアに拡張すると、確かに効率とパフォーマンスの問題が生じ、大量の Windows アプリケーションをスーパーコンピュータ上で同時に実行することが困難になります。

今回、MIT の研究者チームは、最新のスーパーコンピューター上の数千のプロセッサーで Windows アプリケーションを迅速に起動して実行する新しい技術を考案しました。特に、5 分以内に 16,000 の Windows アプリケーションを起動することを実証しました (各アプリケーションは 1 つのコアで処理されます)。

仕組みは?

Linux スーパーコンピューター上で Windows アプリケーションを迅速に起動するために、研究者たちは、Lincoln Lab LLMapReduce (マルチレベル マップ リデュース) テクノロジーと Wine Windows 互換性レイヤーを使用しました。ハイ パフォーマンス コンピューティングの場合、マルチレベル スケジューリングにより分析コードがわずかに変更され、1 回のジョブ起動で多数のデータセットを処理します。

MIT SuperCloud ソフトウェア スタックには、LLMapReduce にアクセスしてクラスター上で何千ものタスクを効率的に実行できる使いやすいインターフェースが付属しており、複雑な並列スケジューリング、依存関係の解決、およびタスク送信ジョブを 1 行のコードに減らし、同時に各タスクのレイテンシーを最小限に抑えてタスクのパフォーマンスを向上させます。

LLMapReduce は特定の言語に基づいていないため、あらゆる実行可能ファイルで動作し、多数の Wine インスタンスを同時に起動するのに理想的です。

SLURM スケジューラのコンポーネント |研究者提供

彼らは、Slurm Workload Manager と呼ばれるオープンソースのジョブ スケジューラを使用して、リソースを迅速に特定し、タスクに割り当て、割り当てられたリソースでタスクの実行をスケジュールし、起動し、実行中のタスクを監視し、タスク終了時にエピローグのクリーンアップを実行しました。

参照:arXiv:1808.04345

結果

Windows インスタンスの起動時間と起動率

研究者らは、合計 41,472 個のコアを持つ 648 個の計算ノード (各ノードには 64 個以上の Xeon Phi 処理コアがある) を含むスーパーコンピューター上にシステムを実装しました。 1、2、4、8…256 ノードで単一の Windows インスタンスを実行し、続いて 256 ノードのそれぞれで 2、4、8…64 のインスタンスを実行し、合計 16,384 個の同時インスタンスを生成しました。

読む:メモリ処理ユニットは AI アルゴリズムを効率的に実装できる

これらすべてのインスタンスの実行には 5 分近くかかり、スーパーコンピューター上でさまざまな Windows アプリケーションを実行できるようになりました。チームは、この機能を、より多様なプログラムを実行する多数のプロセッサに拡張することを計画しています。