いくつかのマシンで実行されている Spark スタンドアロン クラスターがあります。すべてのワーカーは 2 つのコアと 4GB のメモリを使用しています。でジョブ サーバーを起動できますが./server_start.sh --master spark://ip:7077 --deploy-mode cluster --conf spark.driver.cores=2 --conf spark.driver.memory=4g、2 つ以上のコアでサーバーを起動しようとすると、ドライバーの状態が "SUBMITTED" のままになり、ワーカーがジョブを実行しません。
4 コアで spark-shell を開始しようとしまし./spark-shell --master spark://ip:7077 --conf spark.driver.cores=4 --conf spark.driver.memory=4gたが、ジョブは 2 ワーカー (それぞれ 2 コア) 間で共有されます。ただし、spark-shell はドライバーではなくアプリケーションとして起動されます。
複数のワーカー間で分割されたドライバーを実行する方法はありますか? または、ジョブ サーバーをドライバーではなくアプリケーションとして実行できますか?