2

Spark - 1.4.1 (R 3.1.3 バージョン) をインストールしました。現在、SparkR をテストして統計モデルを実行しています。次のようなサンプルコードを実行できます。

Sys.setenv(SAPRK_HOME = "C:\\hdp\\spark-1.4.1-bin-hadoop2.6")
.libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths()))
#load the Sparkr library
library(SparkR)
# Create a spark context and a SQL context
sc <- sparkR.init(master = "local")

sqlContext <- sparkRSQL.init(sc)

#create a sparkR DataFrame
DF <- createDataFrame(sqlContext, faithful)

sparkR.stop()

次に、rJavaパッケージを にインストールしますSparkR。しかし、それはインストールされていません。以下のエラーを与えます。

> install.packages("rJava")
Installing package into 'C:/hdp/spark-1.4.1-bin-hadoop2.6/R/lib'
(as 'lib' is unspecified)
trying URL 'http://ftp.iitm.ac.in/cran/bin/windows/contrib/3.1/rJava_0.9-7.zip'
Content type 'text/html; charset="utf-8"' length 898 bytes
opened URL
downloaded 898 bytes

Error in read.dcf(file.path(pkgname, "DESCRIPTION"), c("Package", "Type")) :
  cannot open the connection
In addition: Warning messages:
1: In unzip(zipname, exdir = dest) : error 1 in extracting from zip file
2: In read.dcf(file.path(pkgname, "DESCRIPTION"), c("Package", "Type")) :
  cannot open compressed file 'rJava/DESCRIPTION', probable reason 'No such file or directory'

また、SparkRシェルでコマンドを実行しているときは、32 ビット アプリケーションとして起動されます。以下のようにバージョン情報を強調表示しました。 ここに画像の説明を入力

ですから、この問題を解決するのを手伝ってください。

4

2 に答える 2

2

シェルではSparkR、R パッケージをインストールする場所が変わるようです。キーラインは

Installing package into 'C:/hdp/spark-1.4.1-bin-hadoop2.6/R/lib'

私はそれを疑う

  • 「C:/hdp/spark-1.4.1-bin-hadoop2.6/R/lib」の書き込み権限がありません
  • そもそもパッケージをそこに置きたくありません。

2 つのオプションがあります。

  • バニラ R セッションを開始し、通常どおりインストールします
  • または、lib引数 inを使用して、install.packagesインストールする場所を指定しますrJava
于 2015-08-28T10:47:47.313 に答える
0

問題を解決しました。以前は R 3.1.3 を使用していましたが、R バージョンの問題でした。そのときは、現在の R バージョンでは rJava パッケージを使用できないというエラーが発生していました。

To solve I follow this steps:
1) Installed new R version i.e R 3.2.2
2) Then update the Path variable and new R version path(Windows -> "Path" -> "Edit environment variables to for your account" -> PATH -> edit the value.)
3) Again restart sparkR shell.

ここに画像の説明を入力

ご支援いただきありがとうございます!!!

于 2015-09-08T12:12:37.313 に答える