現在、Amazon ec2 で実行されているジョブがあり、パテを使用して ec2 クラスターに接続していますが、パテの接続が失われていることがわかっています。ec2 クラスターに再接続した後、ジョブの出力がないため、私のジョブがまだ実行されているかどうかを知っています.Sparkジョブの状態を確認する方法を知っている人はいますか?
ありがとう
2686 次
2 に答える
0
リモート マシンで作業する場合は、(または他の同様のツール) を使用GNU Screenしてセッションを維持することをお勧めします (ただし、マシンとの接続が失われた場合は切り離します)。
Spark アプリケーションのステータスは、Spark UI (または Yarn UI) から確認できます。
cli コマンドを探している場合:
スタンドアロン クラスタで使用する場合:
spark-submit --status <app-driver-id>
糸の場合:
yarn application --status <app-id>
于 2015-04-21T15:10:39.013 に答える