0

conf/slaves2 つのマシン A と B があります。マシン A で Spark Master を実行し、マシン B で Spark Worker を実行しようとしています。Spark ディレクトリにマシン B のホスト名を設定しました。

マスターとワーカーを開始するために実行するstart-all.shと、コンソールに以下のメッセージが表示されます。

abc@abc-vostro:~/spark-scala-2.10$ sudo sh bin/start-all.sh 
sudo: /etc/sudoers.d is world writable
starting spark.deploy.master.Master, logging to /home/abc/spark-scala-2.10/bin/../logs/spark-root-spark.deploy.master.Master-1-abc-vostro.out
13/09/11 14:54:29 WARN spark.Utils: Your hostname, abc-vostro resolves to a loopback address: 127.0.1.1; using 1XY.1XY.Y.Y instead (on interface wlan2)
13/09/11 14:54:29 WARN spark.Utils: Set SPARK_LOCAL_IP if you need to bind to another address
Master IP: abc-vostro
cd /home/abc/spark-scala-2.10/bin/.. ; /home/abc/spark-scala-2.10/bin/start-slave.sh 1 spark://abc-vostro:7077
xyz@1XX.1XX.X.X's password: 
xyz@1XX.1XX.X.X: bash: line 0: cd: /home/abc/spark-scala-2.10/bin/..: No such file or directory
xyz@1XX.1XX.X.X: bash: /home/abc/spark-scala-2.10/bin/start-slave.sh: No such file or directory

マスターは開始されていますが、ワーカーの開始に失敗しています。

Spark ディレクトリに設定xyz@1XX.1XX.X.Xしました。conf/slaves

誰でもこれを解決するのを手伝ってもらえますか? これはおそらく、私の側で設定が欠けているものです。

ただし、同じマシンで Spark Master と Worker を作成すると、正常に動作します。

4

3 に答える 3

1

ワーカーにもすべての Spark のファイルをコピーしましたか? また、パスワードなしのマスターとワーカーの b/w アクセスをセットアップする必要があります。

于 2013-09-28T03:39:53.700 に答える
-1

michael による Hadoop マルチノード クラスタのセットアップの SSH ACCESS を参照してください。そのように....あなたの問題を解決します..

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

于 2013-11-11T09:58:20.847 に答える