問題タブ [sparkr]

以下のように sparkR シェルを開くと、ジョブを正常に実行できます

一方、sparkR シェルの読み込み中にパッケージ spark-csv を含めると、ジョブは失敗します

上記のエラーが発生します。助言がありますか？ありがとう。

クラスタは使用していません。設定しました

私の OS バージョンは Windows 8 Enterprise、Spark 1.4.1、Scala 2.10.1、Spark-csv 2.11:1.0.3/2.10:1.0.3 です。

R では rbind() を使用して 2 つのデータ フレームをバインドします。例) rbind(X , Y) Spark 1.4 の SparkR で同じことを行う方法

ティア、アルン

Windows 7 R Studio バージョンに SparkR パッケージをインストールしようとしています。

これまでのところ、最新バージョンの R (3.2.0) を入手しています。R スタジオ (0.98.1103)。その後、さまざまなソースを調べて、SparkR のインストール方法について考えます。

その後、最初に「devtools」とRtools（3.3）をインストールします。しかし今、私はそれ以上得られません。

それらのいずれかを使用しようとすると

私は得る

パッケージを手動でインストールしようとしましたが、それも機能しません。

私が何を忘れているか、何か分かりますか？

After long and difficult installation process of SparkR i getting into new problems of launching SparkR.

My Settings

Now i try to use following code in R:

I recieve following:

I was also trying to add some system variables like spark path or java path.

Do you have any advices for me to fix that problems.

The next step for me after testing local host would be to start tests on my running hadoop cluster.

すべての列が整数である SparkR データフレームがあります。1 つの列を文字列に置き換えたい。

ですから、列に 0, 1, 1, 0 が含まれている場合、それを「いいえ」「はい」「はい」「いいえ」にしたいと考えています。

私は試した

しかし、それは私に与えます

この更新を行うにはどうすればよいですか?

PS Iは、これが機能するという事実に基づいて上記の試みを行いました:

SparkR シェルから、Yarn モードで Spark UI を表示するためのリンクを生成したいと考えています。通常、Spark UI はポート 4040 にありますが、Yarn モードではどうやら のような[host]:9046/proxy/application_1234567890123_0001/場所にあり、パスの最後の部分は一意の applicationId です。

その他の SO の回答は、ScalaおよびPythonシェルの applicationID を取得する方法を示しています。SparkR から applicationID を取得するにはどうすればよいですか?

暗闇での刺し傷として を試しましSparkR:::callJMethod(sc, "applicationId")たが、うまくいきませんでした。

の行に沿って何かも試しましたsystem("yarn application -list")が、RStudio からは機能しないようで、他の制限があります。

SparkR バージョン 1.4.0 でテキスト ファイルを読み取る方法を知っている人はいますか? そのために利用できる Spark パッケージはありますか?

(1.4)の新しいバージョンがリリースされたので、という名前のパッケージからsparkの素敵なフロントエンド インターフェイスがあるように見えました。R for sparkのドキュメント ページには、ファイルを RDD オブジェクトとして読み取ることができるコマンドがあります。sparkRsparkRjson

この Revolutionanalytics のブログ.csvで説明されているように、ファイルからデータを読み込もうとしています

メモには、この操作を有効にするには spark-csv パッケージが必要であると書かれています。そこで、次のコマンドを使用して、このgithub リポジトリからこのパッケージをダウンロードしました。

.csvしかし、ファイルを読み込もうとしているときに、このようなエラーが発生しました。

このエラーの意味と解決方法について何か考えはありますか?

もちろん.csv、次のような標準的な方法で読むこともできます。

そして、次のように Rdata.frameを に変換できます。sparkDataFrame

しかし、これは私が好きな方法ではなく、本当に時間がかかります。

機械学習モデルを開発するためのフロント エンドとして SparkR と R を使用しようとしています。分散データ フレームで動作する Spark の MLLib を使用したいと考えています。Rからspark MLLibアルゴリズムを呼び出す方法はありますか?

Spark ディストリビューションから R ライブラリに SparkR パッケージをインストールしました。次のコマンドを呼び出すことができ、正しく動作しているようです。library(SparkR)

ただし、次のコードを使用して Spark コンテキストを取得しようとすると、

しばらくすると失敗し、次のメッセージが表示されます。

JAVA_HOME を設定し、ggplot2 などの他のパッケージにアクセスできる作業中の RStudio を持っています。なぜ機能しないのかわかりません。また、どこで問題を調査すればよいのかもわかりません。