問題タブ [sparkr]

(1.4)の新しいバージョンがリリースされたので、という名前のパッケージからsparkの素敵なフロントエンド インターフェイスがあるように見えました。R for sparkのドキュメント ページには、ファイルを RDD オブジェクトとして読み取ることができるコマンドがあります。sparkRsparkRjson

この Revolutionanalytics のブログ.csvで説明されているように、ファイルからデータを読み込もうとしています

メモには、この操作を有効にするには spark-csv パッケージが必要であると書かれています。そこで、次のコマンドを使用して、このgithub リポジトリからこのパッケージをダウンロードしました。

.csvしかし、ファイルを読み込もうとしているときに、このようなエラーが発生しました。

このエラーの意味と解決方法について何か考えはありますか?

もちろん.csv、次のような標準的な方法で読むこともできます。

そして、次のように Rdata.frameを に変換できます。sparkDataFrame

しかし、これは私が好きな方法ではなく、本当に時間がかかります。

機械学習モデルを開発するためのフロント エンドとして SparkR と R を使用しようとしています。分散データ フレームで動作する Spark の MLLib を使用したいと考えています。Rからspark MLLibアルゴリズムを呼び出す方法はありますか?

Spark ディストリビューションから R ライブラリに SparkR パッケージをインストールしました。次のコマンドを呼び出すことができ、正しく動作しているようです。library(SparkR)

ただし、次のコードを使用して Spark コンテキストを取得しようとすると、

しばらくすると失敗し、次のメッセージが表示されます。

JAVA_HOME を設定し、ggplot2 などの他のパッケージにアクセスできる作業中の RStudio を持っています。なぜ機能しないのかわかりません。また、どこで問題を調査すればよいのかもわかりません。

スパークver1.4を使用しています。R ユーザー向けの追加の API - sparkR があります。

次のコマンドを使用して、sparkRを起動し、Rdata.frameをsparkに変換することができましたDataFrame

何らかの形で Spark MLlib ライブラリに接続してロジスティック回帰を続行する方法があるかどうか疑問に思っています - https://spark.apache.org/docs/latest/mllib-linear-methods.htmlDataFrameまたは、通常に再変換するために離れている可能性がありますdata.frame?

分位点、平均、カテゴリの頻度などの統計を計算するために SparkR を調査しています (ソース ファイルは Amazon S3 - csv 形式です)。

csv ファイルを解析してデータフレームを作成できます。ただし、この spark-dataframe を標準の R 関数などで使用することはできませんquantile(), mean()。

例として、R データフレーム 'test' を次に示します。

上記のデータフレームは正しい結果を生成します。ただし、経由で作成されたデータフレームread.df()は関数で機能しませんquantile()。

私の質問は簡単です.ネイティブR関数でSparkRのデータフレームを使用することはありますか? または、SparkR データフレームをベクターに変換する方法。

前もって感謝します。

sparkR を AWS クラスターに接続する最初のステップを作成すると、問題が発生します。

Rstudio で sparkcontext ('sc') を作成できません -

そして私は得る：

私は多くのユーザーを試しました

Tnx Zの助けをいただければ幸いです

Mac で spark 1.4.0 と 1.4.1 の両方に対して次のことを試しました。パッケージ タイプ = 'ソース コード [複数の Hadoop バージョンをビルド可能] およびダウンロード タイプhttp://ftp.wayne.edu/apache/spark/spark-1.4.1/spark-1.4.1.tgzをダウンロードしています。

ターミナルで ./bin/sparkR を実行すると、「~assembly/target/scala-2.10」が見つからないというエラー メッセージが表示されます。何か案は？