11

一連のクラスターに Spark スタンドアロンをインストールしました。そして、クラスター起動スクリプトを使用してクラスターを起動しようとしました。クラスターの IP アドレスを conf/slaves ファイルに追加しました。マスターは、パスワードなしの ssh を介してすべてのスレーブに接続します。スクリプトを実行./bin/start-slaves.shすると、次のメッセージが表示されます。

org.apache.spark.deploy.worker.Worker を開始し、/root/spark-0.8.0-incubating/bin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1 にログを記録します-jbosstest2.out

しかし、マスター (localhost:8080) の webUI には、ワーカーに関する情報が表示されません。しかし、localhost エントリを conf/slaves ファイルに追加すると、localhost のワーカー情報が表示されます。

エラー メッセージはありません。端末のメッセージにはワーカーが開始されたことが示されていますが、WebUI にはワーカーが表示されません。

4

5 に答える 5

6

私も同じ問題を抱えていました。スレーブから master:port に telnet できないことに気付きました。私のetc/hostsファイル（マスター上）には、127.0.0.1マスターエントリがありました（192.168.0.xマスターの前）。etc/hosts ファイルから 127.0.0.1 エントリを削除すると、telnet が可能になり、(マスターから) start-slaves.sh を開始すると、スレーブが接続されました。

于 2015-03-20T23:46:05.860 に答える
2

クラスターを実行するときは$jps、ワーカー ノードでコマンドを確認し、正しく起動しているかどうかを確認し、ワーカーの PID を使用してログを確認します。

また

次のように設定します。クラスターを実行し、ポートが構成済みのポートで稼働しているかどうかを確認します

export SPARK_MASTER_WEBUI_PORT=5050
export SPARK_WORKER_WEBUI_PORT=4040
于 2013-11-11T09:49:24.517 に答える
0

/etc/hosts を確認し、master のバインディングを確認してください

マスターが localhost と IP アドレス (例: 192.168.xx) にバインドしている場合は、localhost を削除します。ローカルホストがそのままの場合、マスターはローカルホストにマップされ、スレーブがマスターIPアドレスに接続することを許可しません

于 2015-07-07T14:28:24.520 に答える