0

マスター ノードとワーカー ノードの構成で、Spark を CDH に追加しているときに次のエラーが発生します。このリンクの指示に従いました: https://docs.sigmoidanalytics.com/index.php/Installing_Spark_and_Setting_Up_Your_Cluster

SCALA_HOME を設定するには、次のエラーが表示されます。

Service did not start successfully; not all of the required roles started: Service has only 0 Master roles running instead of minimum required 1.
Program: csd/csd.sh ["start_worker","./master.properties"]
Program: csd/csd.sh ["start_master","./master.properties"]

++ CDH_HADOOP_BIN=/app/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hadoop/bin/hadoop
++ export CDH_IMPALA_HOME=/app/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/impala
++ CDH_IMPALA_HOME=/app/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/impala
++ export CDH_SOLR_HOME=/app/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/solr
++ CDH_SOLR_HOME=/app/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/solr
++ export CDH_HBASE_INDEXER_HOME=/app/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hbase-solr
++ CDH_HBASE_INDEXER_HOME=/app/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hbase-solr
++ export SEARCH_HOME=/app/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/search
++ SEARCH_HOME=/app/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/search
++ export CDH_SPARK_HOME=/app/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/spark
++ CDH_SPARK_HOME=/app/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/spark
++ export WEBHCAT_DEFAULT_XML=/app/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/etc/hive-webhcat/conf.dist/webhcat-default.xml
++ WEBHCAT_DEFAULT_XML=/app/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/etc/hive-webhcat/conf.dist/webhcat-default.xml
+ echo 'Using /var/run/cloudera-scm-agent/process/751-spark-SPARK_MASTER as conf dir'
+ echo 'Using scripts/control.sh as process script'
+ chmod u+x /var/run/cloudera-scm-agent/process/751-spark-SPARK_MASTER/scripts/control.sh
+ exec /var/run/cloudera-scm-agent/process/751-spark-SPARK_MASTER/scripts/control.sh start_master ./master.properties
Thu Apr 16 09:44:51 GMT 2015
Thu Apr 16 09:44:51 GMT 2015: Detected CDH_VERSION of [5]
Thu Apr 16 09:44:51 GMT 2015: Found a master on syseng03 listening on port 7077
Thu Apr 16 09:44:51 GMT 2015: Starting Spark master on syseng03 and port 7077
/app/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/spark/bin/compute-classpath.sh: line 65: hadoop: command not found
SCALA_HOME is not set
4

1 に答える 1

0

ログメッセージを明確に確認すると、clouderaマネージャーを使用してsparkをインストールしているときにクラスパスが正しく設定されていないと表示されます（CMから予想されるように、ウィザードからインストールしていたため、すべての依存関係を自動的に解決する必要がありますが、どういうわけかうまくいきませんでした）...トリック/opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/spark/bin/compute-classpath.sh スクリプトを編集し、すべてのクラスパス情報を手動で追加しました.. .次の行は、必要なクラスパス変数の「前」に追加しました

PATH=$PATH:/opt/cloudera/parcels/CDH/bin
export SCALA_HOME=/app/scala-2.10.4
export SCALA_LIBRARY_PATH=/app/scala-2.10.4/lib
CLASSPATH="$CLASSPATH:/app/opt/cloudera/parcels/CDH/lib/hive/lib/*"
于 2015-12-22T07:00:14.503 に答える