問題タブ [sparkr]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-spark - SparkR シェルで com.databricks.spark.csv を読み込むとジョブが失敗する
以下のように sparkR シェルを開くと、ジョブを正常に実行できます
一方、sparkR シェルの読み込み中にパッケージ spark-csv を含めると、ジョブは失敗します
上記のエラーが発生します。助言がありますか?ありがとう。
クラスタは使用していません。設定しました
私の OS バージョンは Windows 8 Enterprise、Spark 1.4.1、Scala 2.10.1、Spark-csv 2.11:1.0.3/2.10:1.0.3 です。
apache-spark - SparkR で 2 つのデータ フレームを行バインドする方法
R では rbind() を使用して 2 つのデータ フレームをバインドします。例) rbind(X , Y) Spark 1.4 の SparkR で同じことを行う方法
ティア、アルン
r - R の sparkR インストールのエラー
Windows 7 R Studio バージョンに SparkR パッケージをインストールしようとしています。
これまでのところ、最新バージョンの R (3.2.0) を入手しています。R スタジオ (0.98.1103)。その後、さまざまなソースを調べて、SparkR のインストール方法について考えます。
その後、最初に「devtools」とRtools(3.3)をインストールします。しかし今、私はそれ以上得られません。
それらのいずれかを使用しようとすると
私は得る
パッケージを手動でインストールしようとしましたが、それも機能しません。
私が何を忘れているか、何か分かりますか?
r - Unable to launch SparkR in RStudio
After long and difficult installation process of SparkR i getting into new problems of launching SparkR.
My Settings
Now i try to use following code in R:
I recieve following:
I was also trying to add some system variables like spark path or java path.
Do you have any advices for me to fix that problems.
The next step for me after testing local host would be to start tests on my running hadoop cluster.
r - SparkR データ フレームの整数列を文字列に変換するにはどうすればよいですか?
すべての列が整数である SparkR データフレームがあります。1 つの列を文字列に置き換えたい。
ですから、列に 0, 1, 1, 0 が含まれている場合、それを「いいえ」「はい」「はい」「いいえ」にしたいと考えています。
私は試した
しかし、それは私に与えます
この更新を行うにはどうすればよいですか?
PS Iは、これが機能するという事実に基づいて上記の試みを行いました:
apache-spark - SparkR からアプリケーション ID を取得して Spark UI URL を作成する
SparkR シェルから、Yarn モードで Spark UI を表示するためのリンクを生成したいと考えています。通常、Spark UI はポート 4040 にありますが、Yarn モードではどうやら のような[host]:9046/proxy/application_1234567890123_0001/
場所にあり、パスの最後の部分は一意の applicationId です。
その他の SO の回答は、ScalaおよびPythonシェルの applicationID を取得する方法を示しています。SparkR から applicationID を取得するにはどうすればよいですか?
暗闇での刺し傷として を試しましSparkR:::callJMethod(sc, "applicationId")
たが、うまくいきませんでした。
の行に沿って何かも試しましたsystem("yarn application -list")
が、RStudio からは機能しないようで、他の制限があります。
r - SparkR 1.4.0 でのテキスト ファイルの読み取り
SparkR バージョン 1.4.0 でテキスト ファイルを読み取る方法を知っている人はいますか? そのために利用できる Spark パッケージはありますか?