scala - Spark シェル エラー: エラー SparkDeploySchedulerBackend: 存在しないエグゼキューターを削除するように求められました 11

Question

mapr Sandbox で spark-shell を起動するたびに、このエラーが発生し続けます

ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 11

このエラーを解決するのを手伝ってください。

Answer 1

同様の問題に直面しましたが、次の手順に従って解決しました。

1. 次のコマンドを使用して spark-master を再起動します: maprcli node services -name spark-master -action restart -filter csvc==spark-master

2. ワーカー ノードを開始します: /opt/mapr/spark/spark-1.3.1/sbin/start-slaves.sh

3. ここで、spark-shell を実行します: /opt/mapr/spark/spark-1.3.1/bin/spark-shell

お役に立てれば ！

Answer 2

リモート デバッグのセットアップ時にこの問題が発生SPARK_JAVA_OPTSしましたが、実際には IDE のデバッガーを Spark アプリケーションに接続していませんでした。

workersこれは、Spark UIの executors stdout/の下を調べたときに発見されstderr、次のことに気付きました。

FATAL ERROR in native method: JDWP No transports initialized, jvmtiError=AGENT_ERROR_TRANSPORT_INIT(197)

Answer 3

コマンドを使用hostnameしてホスト名を検索し、次にコマンドを使用します

bin/spark-shell --master spark://your-host-name:7077