spark (0.7.0) でクラスター全体を停止する場合
$SPARK_HOME/bin/stop-all.sh
すべてのワーカーが正しく停止されるわけではありません。より具体的には、クラスターを再起動する場合
$SPARK_HOME/bin/start-all.sh
私は得る：
host1: starting spark.deploy.worker.Worker, logging to [...]
host3: starting spark.deploy.worker.Worker, logging to [...]
host2: starting spark.deploy.worker.Worker, logging to [...]
host5: starting spark.deploy.worker.Worker, logging to [...]
host4: spark.deploy.worker.Worker running as process 8104. Stop it first.
host7: spark.deploy.worker.Worker running as process 32452. Stop it first.
host6: starting spark.deploy.worker.Worker, logging to [...]
host4 と host7 では、実際にまだ実行中の StandaloneExecutorBackend があります。
$ jps
27703 Worker
27763 StandaloneExecutorBackend
28601 Jps
繰り返すだけ
$SPARK_HOME/bin/stop-all.sh
残念ながら、ワーカーも停止しません。Spark は、ワーカーが停止しようとしていることを教えてくれます。
host2: no spark.deploy.worker.Worker to stop
host7: stopping spark.deploy.worker.Worker
host1: no spark.deploy.worker.Worker to stop
host4: stopping spark.deploy.worker.Worker
host6: no spark.deploy.worker.Worker to stop
host5: no spark.deploy.worker.Worker to stop
host3: no spark.deploy.worker.Worker to stop
いいえspark.deploy.master.Master、やめません
でも、
$ jps
27703 Worker
27763 StandaloneExecutorBackend
28601 Jps
そうではないと言います。誰かがどのようstop-all.shに適切に機能するか考えていますか? ありがとう。