0

こんにちは、シェル スクリプトを使用して sparkr プログラムを実行しています。入力ファイルをローカルに指定すると、正常に動作していることを意味しますが、hdfs を指定するとエラーがスローされることを意味します。

Exception in thread "delete Spark local dirs" java.lang.NullPointerException

Exception in thread "delete Spark local dirs" java.lang.NullPointerException
at  org.apache.spark.storage.DiskBlockManager.org$apache$spark$storage$DiskBlockManager$$doStop(DiskBlockManager.scala:161)
at  org.apache.spark.storage.DiskBlockManager$$anon$1$$anonfun$run$1.apply$mcV$sp(DiskBlockManager.scala:141)
at org.apache.spark.storage.DiskBlockManager$$anon$1$$anonfun$run$1.apply(DiskBlockManager.scala:139)
at org.apache.spark.storage.DiskBlockManager$$anon$1$$anonfun$run$1.apply(DiskBlockManager.scala:139)
at org.apache.spark.util.Utils$.logUncaughtExceptions(Utils.scala:1617)
at org.apache.spark.storage.DiskBlockManager$$anon$1.run(DiskBlockManager.scala:139)

どんな助けでも大歓迎です。

4

1 に答える 1

0

Scala スクリプトで同じ問題に直面しました。問題はマスター URL にあったため、マスター URL の設定を削除しました。

以前：

val conf = new org.apache.spark.SparkConf().setMaster(masterURL).set("spark.ui.port",port).setAppName("TestScalaApp")

固定コード:

val conf = new org.apache.spark.SparkConf().setAppName("TestScalaApp")
于 2015-09-04T20:05:55.693 に答える