14

After long and difficult installation process of SparkR i getting into new problems of launching SparkR.

My Settings

R 3.2.0    
RStudio 0.98.1103    
Rtools 3.3    
Spark 1.4.0
Java Version 8
SparkR 1.4.0
Windows 7 SP 1  64 Bit

Now i try to use following code in R:

library(devtools)
library(SparkR)
Sys.setenv(SPARK_MEM="1g")
Sys.setenv(SPARK_HOME="C:/spark-1.4.0")
sc <- sparkR.init(master="local")

I recieve following:

JVM is not ready after 10 seconds

I was also trying to add some system variables like spark path or java path.

Do you have any advices for me to fix that problems.

The next step for me after testing local host would be to start tests on my running hadoop cluster.

4

7 に答える 7

0

別の原因から、このエラーも発生しました。内部では、Spark が呼び出します

system2(sparkSubmitBin, combinedArgs, wait = F)

これがうまくいかない方法はたくさんあります。私の場合、根本的なエラー (system2実験として直接呼び出すまで見えない) は「UNC パスはサポートされていません。」R スタジオの作業ディレクトリを、ネットワーク共有の一部ではないディレクトリに変更する必要がありました。働き始めました。

于 2016-06-13T14:45:00.407 に答える
0

次の解決策は、Mac OS で機能します。

Hadoop をインストールした後、Spark をインストールします。

spark_path <- strsplit(system("brew info apache-spark",intern=T)[4],' ')[[1]][1] # Get your spark path .libPaths(c(file.path(spark_path,"libexec", "R", "lib"), .libPaths())) library(SparkR

于 2016-06-07T17:28:33.173 に答える
0

まったく同じ問題がありました。コマンド ラインで SparkR を起動できますが、Windows の RStudio では起動できません。そして、ここに解決策があります。

  1. この問題を解決しようとしたときに設定したすべてのパスをクリーンアップしてください。これには、ウィンドウ コントロール パネルから Windows 環境で設定したパスが含まれ、Sys.unsetenv() を使用して SPARK_HOME の設定を解除します。

  2. RStudio で getwd() を使用して、RStudio のデフォルトの作業ディレクトリを見つけます。次に、このディレクトリに .Rprofile ファイルを作成します。このファイルに次の行を追加します: .libPaths("C:/Apache/Spark-1.5.1/R/lib")

  3. ウィンドウ コントロール パネル -> システム -> システムの詳細設定 -> 環境変数で、既存の PATH 変数の末尾に「;C:\Apache\Spark-1.5.1\bin」を追加します。

  4. RStudio を起動します。.libPaths() と入力すると、SparkR ライブラリ パスが既にライブラリ パスに含まれていることがわかります。

  5. library(SparkR) を使用して SparkR ライブラリをロードする

  6. sc=sparkR.init(master="local")

Spark 1.4.1 と 1.5.1 の両方でこれを試しましたが、どちらも正常に動作します。上記のすべての提案の後、これがまだ問題を抱えている人に役立つことを願っています.

于 2015-11-03T16:22:40.273 に答える