0

DSE 4.6 を 4.7 にアップグレードした後、job-server-0.5.0 で問題が発生しました。server_start.sh を実行すると、「Failed to find Spark assembly in /usr/share/dse/spark/assembly/target/scala-2.10 You need to build Spark before running this program.」というエラーが表示されます。

/usr/share/dse/spark/bin/compute-classpath.sh で見つけました

このコードはエラーを発生させます

for f in ${assembly_folder}/spark-assembly*hadoop*.jar; do
  if [[ ! -e "$f" ]]; then
    echo "Failed to find Spark assembly in $assembly_folder" 1>&2
    echo "You need to build Spark before running this program." 1>&2
    exit 1
  fi
  ASSEMBLY_JAR="$f"
  num_jars=$((num_jars+1))
done

/usr/share/dse/spark/bin/spark-submit を実行すると、同じエラーが発生します。

4

1 に答える 1

0

DSE を使用している場合は、コンピューティング クラスパスにアクセスせずに spark-jobserver を起動する必要があります。次の例のように、dse spark-submit を使用するように起動スクリプトを変更してみてください。

# job server jar needs to appear first so its deps take higher priority
# need to explicitly include app dir in classpath so logging configs can be found
#CLASSPATH="$appdir:$appdir/spark-job-server.jar:$($SPARK_HOME/bin/compute-classpath.sh)"

#exec java -cp $CLASSPATH $GC_OPTS $JAVA_OPTS $LOGGING_OPTS $CONFIG_OVERRIDES $MAIN $conffile 2>&1 &
dse spark-submit --class $MAIN $appdir/spark-job-server.jar --driver-java-options "$GC_OPTS $JAVA_OPTS $LOGGING_OPTS" $conffile 2>&1 &

https://github.com/spark-jobserver/spark-jobserver/blob/f5406a50406c59f26c878d7cee7334d6b9203312/bin/server_start.sh

于 2015-05-27T16:22:18.427 に答える