apache-spark - マスターとワーカーを同じノードに配置できますか?

Question

3 ノード Spark スタンドアロン クラスターがあり、マスター ノードにもワーカーがあります。アプリをクラスターに送信すると、他の 2 つのワーカーが実行を開始しますが、マスター ノードのワーカーのステータスは LOADING のままで、最終的に他のマシンの 1 つで別のワーカーが起動されます。

ワーカーとマスターが同じノードにあることが問題ですか? はいの場合、この問題を解決する方法はありますか、それともワーカーとマスターを同じノードに置くべきではありませんか?

PSマシンにはそれぞれ8つのコアがあり、ワーカーはRAMのすべてではなく7つを使用するように設定されています

Answer 1

はい、できます。これはSpark Web ドキュメントからのものです。

Mesos または YARN クラスター マネージャーでの実行に加えて、Spark はシンプルなスタンドアロン デプロイ モードも提供します。マスターとワーカーを手動で開始するか、提供されている起動スクリプトを使用して、スタンドアロン クラスターを手動で起動できます。これらのデーモンをテスト用に 1 台のマシンで実行することもできます。