sparkr - Unable to call sparkRSQL.init function

Question

I am new to Spark and was trying to run the example mentioned in SparkR page. With some effort, I was able to install sparkR into my machine and was able to run the basic wordcount example. However, when I try to run:

library(SparkR) #works fine - loads the package sc <- sparkR.init() #works fine sqlContext <- sparkRSQL.init(sc) #fails

It says, there is no package called ‘sparkRSQL’. As per documentation sparkRSQL.init is a function in sparkR package. Please let me know if I am missing anything here.

Thanks in advance.

Answer 1

sparkR をテストしようとしたとき、私はすでにこの問題に直面しています。この部分に関するドキュメントが不足しています。問題は、「sparkRSQL」と「sparkRHive」がマスター ブランチに含まれていないため、次のコマンドを使用して「sparkr-sql」ブランチから sparkR パッケージをインストールする必要があることです。

library(devtools)
install_github("amplab-extras/SparkR-pkg", ref="sparkr-sql", subdir="pkg")

Amplabのサイトにヒントがありました

DataFrame は Spark 1.3 で導入されました。1.3 互換の SparkR バージョンは、Github リポジトリの sparkr-sql ブランチにあります。これには、DataFrame を操作するための予備的な R API が含まれています。SparkR を古いバージョンの Spark にリンクするには、このページのアーカイブまたはマスター ブランチを使用します。