apache-spark - cloudera-quickstart-vm で Spark (スタンドアロン) サービスのステータスを確認するにはどうすればよいですか?

Question

ローカル VM で実行されている Spark (スタンドアロン) サービスで実行されているサービス、つまり spark-master と spark-slaves のステータスを取得しようとしています。

ただし、実行sudo service spark-master statusは機能していません。

Spark サービスのステータスを確認する方法について、ヒントを提供できる人はいますか?

Answer 1

ボックス上の任意の JVM のステータスを取得するためのツールとして使用jps -lmします。Spark のものも含まれます。コマンドライン オプション以外の詳細については、jps のドキュメントを参照してください。-lm

ただし、実際に Spark に属する JVM プロセスを除外したい場合は、それをパイプして、 などの OS 固有のツールを使用する必要がありますgrep。

➜  spark git:(master) ✗ jps -lm
999 org.apache.spark.deploy.master.Master --ip japila.local --port 7077 --webui-port 8080
397
669 org.jetbrains.idea.maven.server.RemoteMavenServer
1198 sun.tools.jps.Jps -lm

➜  spark git:(master) ✗ jps -lm | grep -i spark
999 org.apache.spark.deploy.master.Master --ip japila.local --port 7077 --webui-port 8080

もチェックアウトできますが./sbin/spark-daemon.sh status、ツールについての私の理解が限られているため、推奨されるツールにはなりません。

の下のスクリプトを使用して Spark Standalone を開始するとsbin、PID は/tmpデフォルトでディレクトリに保存されます。./sbin/spark-daemon.sh statusそれらを読んで、「ボイラープレート」を実行できます。つまり、PID のステータスです。

➜  spark git:(master) ✗ jps -lm | grep -i spark
999 org.apache.spark.deploy.master.Master --ip japila.local --port 7077 --webui-port 8080

➜  spark git:(master) ✗ ls /tmp/spark-*.pid
/tmp/spark-jacek-org.apache.spark.deploy.master.Master-1.pid

➜  spark git:(master) ✗ ./sbin/spark-daemon.sh status org.apache.spark.deploy.master.Master 1
org.apache.spark.deploy.master.Master is running.

Answer 2

ps -ef | grep sparkすべてのpidの詳細で動作します