0

sparkR を AWS クラスターに接続する最初のステップを作成すると、問題が発生します。

Rstudio で sparkcontext ('sc') を作成できません -

> .libPaths( c( .libPaths(), '/root/spark/R/lib') ) 

> Sys.setenv(SPARK_HOME = '/root/spark')

> Sys.setenv(PATH = paste(Sys.getenv(c("PATH")), '/root/spark/bin', sep=':'))

> library(SparkR)

> sc <- sparkR.init('ec2-54-159-90-154.compute-1.amazonaws.com:7077')

そして私は得る：

    15/07/16 13:20:55 INFO SparkContext: Running Spark version 1.4.0
    15/07/16 13:20:55 INFO SecurityManager: Changing view acls to: rootroot1
    15/07/16 13:20:55 INFO SecurityManager: Changing modify acls to: rootroot1
    15/07/16 13:20:55 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(rootroot1); users with modify permissions: Set(rootroot1)
    15/07/16 13:20:56 INFO Slf4jLogger: Slf4jLogger started
    15/07/16 13:20:56 INFO Remoting: Starting remoting
    15/07/16 13:20:56 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkDriver@10.101.183.7:36597]
    15/07/16 13:20:56 INFO Utils: Successfully started service 'sparkDriver' on port 36597.
    15/07/16 13:20:56 INFO SparkEnv: Registering MapOutputTracker
    15/07/16 13:20:56 INFO SparkEnv: Registering BlockManagerMaster
    15/07/16 13:20:56 ERROR Utils: Failed to create local root dir in /mnt/spark. Ignoring this directory.
    15/07/16 13:20:56 ERROR Utils: Failed to create local root dir in /mnt2/spark. Ignoring this directory.
    15/07/16 13:20:56 ERROR DiskBlockManager: Failed to create any local dir.
    15/07/16 13:20:56 INFO Utils: Shutdown hook called
    Error in readTypedObject(con, type) : 
      Unsupported type for deserialization

私は多くのユーザーを試しました

Tnx Zの助けをいただければ幸いです

4

1 に答える 1

0

のアクセス許可を変更して、すべてのユーザーが書き込み可能にする必要があり/mnt/sparkます/mnt2/spark(デフォルトでは root のみが書き込み可能です)。を実行することでこれを行うことができますchmod a+w /mnt/spark。RStudio を EC2 で動作させるには、さらにいくつかの手順を実行する必要があります。http://blog.godatadriven.com/spark-rstudio.htmlは、このための優れたチュートリアルです。

于 2015-07-17T23:25:11.830 に答える