scala - Slur 上で Spark を実行する

Question

Slurm クラスター上で Spark を実行するにはどうすればよいですか? プログラム内で SparkContext を定義し、使用するノードの数を設定することに非常に興味がありますが、そのための bash スクリプトを作成する必要がある場合でも、それは問題ありません。

Answer 1

Magpie ( https://github.com/llnl/magpie ) は、従来の HPC クラスター (SLURM によって管理されるものなど) 上でビッグ データ アプリケーション (Spark など) を実行するために使用されるシェル スクリプトのパッケージです。これはジョブのキューイングの複雑さの多くを管理しますが、独自の Spark アプリケーションに合わせて送信スクリプトを変更する必要がある場合もあります。詳細については、ファイルsubmission-scripts/script-sbatch/magpie.sbatch-sparkを参照してください。

Answer 2

2 つのオプションがあります。

1. Slurm が行うことは何でも、Spark のスタンドアロン モードを並べて使用するだけです。これは、ターゲット マシン上のリソースの静的サブセットを各システムに割り当てることを意味します。
2. Spark のクラスター オプションとして Slurm を実装します。これは、リソースの真の管理と共有には最適ですが、Spark のクラスタリングの抽象化を理解し、正しく実装する必要があるため、はるかに困難です。YARN または Mesos のサポートがどのように実装されているかを調べることから始めることができます。