server_start.sh を使用して Spark クラスターで起動される spark-jobserver をインストールしましたが、どうやっても複数のワーカーで起動することはできません。複数のコアとより多くのメモリを使用して実行することはできますが、複数のノードでは実行できません。
試したコマンドは次のとおりです。
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --total-executor cores 6
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --total-executor cores 4 --executor-cores 2
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --conf spark.driver.cores=4 --conf spark.driver.memory=7g
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --conf spark.driver.cores=6 --conf spark.driver.memory=7g
最初の 2 つのコマンドは起動され、1 つのコアと 1GB を使用する 1 つのワーカーを示し、3 つ目のコマンドは 4 つのコアと 7g を使用する 1 つのワーカーを示しています。4 番目のコマンドは、使用される 6 つのコアを示していますが、状態は SUBMITTED です。
次のコマンドを使用して spark シェルを起動することにより、複数のワーカーで起動してアプリケーションを実行できることを確認しました。これは、2 つのワーカーと合計 6 つのコアを持つ実行中のドライバーとして表示されます。
./spark-shell --master spark://IP:PORT --total-executor cores 6
助けていただければ幸いです。