これらは、spark-env.sh で行った次の構成です。
export SPARK_MASTER_PORT=8080
export SPARK_WORKER_CORES=4
export SPARK_WORKER_MEMORY=8g
export SPARK_WORKER_INSTANCES=1
export SPARK_DAEMON_MEMORY=512m
export SPARK_LOCAL_DIRS=/tmp/spark
export SPARK_MASTER_IP='localhost'
奴隷.sh:
localhost
その後、コマンドを実行しました:./sbin/start-master.sh
出力:
org.apache.spark.deploy.master.Master を開始し、/opt/Spark/spark-2.0.2-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.master.Master- にログを記録します。 1-s.out。
コマンド プロンプトを返します。spark-standalone doc に記載されているように、出力には URL がなく、入力するとlocalhost:8080
サイトに到達できないことが示されます。マスターを再度実行しようとすると、既に実行中のプロセスであることが示されます。Java、Python、および Spark のすべてのパスを設定しました。何が間違っているのですか、それともスパーク マスター UI を起動するために他に何かすることはありますか? または、他のすべての Web ページが正常に読み込まれる場合でも、プロキシに何か問題がある可能性がありますか?
注: Linux OS と spark-2.0.2-bin-hadoop2.7 を使用しています。