0

Cloud Dataproc クラスタ (バージョン 0.2) で SparkR を使用しようとすると、次のようなエラーが発生します。

Exception in thread "main" java.io.FileNotFoundException:
/usr/lib/spark/R/lib/sparkr.zip (Permission denied)
at java.io.FileOutputStream.open0(Native Method)
at java.io.FileOutputStream.open(FileOutputStream.java:270)
at java.io.FileOutputStream.<init>(FileOutputStream.java:213)
at
org.apache.spark.deploy.RPackageUtils$.zipRLibraries(RPackageUtils.scala:215)
at
org.apache.spark.deploy.SparkSubmit$.prepareSubmitEnvironment(SparkSubmit.scala:371)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:153)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:120)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

SparkR を使用できるようにするには、どうすればこれを修正できますか?

4

1 に答える 1

4

この問題は、Spark 1.5 シリーズ (ここでは JIRA ) のバグによるものです。これを修正するには、マスター ノードに SSH で接続するか、初期化アクションを使用して、マスター ノードで次のコマンドを実行します。

sudo chmod 777 /usr/lib/spark/R/lib

この問題は Spark 1.6 で修正される予定であり、Cloud Dataproc は将来的に新しいイメージ バージョンでサポートされる予定です。

于 2016-01-05T16:26:39.420 に答える