問題タブ [sparkr]

以下のように sparkR シェルを開くと、ジョブを正常に実行できます

一方、sparkR シェルの読み込み中にパッケージ spark-csv を含めると、ジョブは失敗します

上記のエラーが発生します。助言がありますか？ありがとう。

クラスタは使用していません。設定しました

私の OS バージョンは Windows 8 Enterprise、Spark 1.4.1、Scala 2.10.1、Spark-csv 2.11:1.0.3/2.10:1.0.3 です。

R では rbind() を使用して 2 つのデータ フレームをバインドします。例) rbind(X , Y) Spark 1.4 の SparkR で同じことを行う方法

ティア、アルン

Windows 7 R Studio バージョンに SparkR パッケージをインストールしようとしています。

これまでのところ、最新バージョンの R (3.2.0) を入手しています。R スタジオ (0.98.1103)。その後、さまざまなソースを調べて、SparkR のインストール方法について考えます。

その後、最初に「devtools」とRtools（3.3）をインストールします。しかし今、私はそれ以上得られません。

それらのいずれかを使用しようとすると

私は得る

パッケージを手動でインストールしようとしましたが、それも機能しません。

私が何を忘れているか、何か分かりますか？

After long and difficult installation process of SparkR i getting into new problems of launching SparkR.

My Settings

Now i try to use following code in R:

I recieve following:

I was also trying to add some system variables like spark path or java path.

Do you have any advices for me to fix that problems.

The next step for me after testing local host would be to start tests on my running hadoop cluster.

すべての列が整数である SparkR データフレームがあります。1 つの列を文字列に置き換えたい。

ですから、列に 0, 1, 1, 0 が含まれている場合、それを「いいえ」「はい」「はい」「いいえ」にしたいと考えています。

私は試した

しかし、それは私に与えます

この更新を行うにはどうすればよいですか?

PS Iは、これが機能するという事実に基づいて上記の試みを行いました:

SparkR シェルから、Yarn モードで Spark UI を表示するためのリンクを生成したいと考えています。通常、Spark UI はポート 4040 にありますが、Yarn モードではどうやら のような[host]:9046/proxy/application_1234567890123_0001/場所にあり、パスの最後の部分は一意の applicationId です。

その他の SO の回答は、ScalaおよびPythonシェルの applicationID を取得する方法を示しています。SparkR から applicationID を取得するにはどうすればよいですか?

暗闇での刺し傷として を試しましSparkR:::callJMethod(sc, "applicationId")たが、うまくいきませんでした。

の行に沿って何かも試しましたsystem("yarn application -list")が、RStudio からは機能しないようで、他の制限があります。

SparkR バージョン 1.4.0 でテキスト ファイルを読み取る方法を知っている人はいますか? そのために利用できる Spark パッケージはありますか?