問題タブ [rhadoop]

Windows マシンに RStudio をインストールし、Hadoop クラスターのノードの 1 つに R をインストールしました。RStudio をそのスレーブ マシンに接続し、R スクリプトを実行したいと考えています。Hadoop 統合に必要なすべての R パッケージをそのスレーブ マシンにインストールしました。Windows ベースの R を使用できません。

Rhadoop パッケージを使用して単純な rmr ジョブを実行しようとしていますが、機能していません。私の R スクリプトは次のとおりです。

上記のスクリプトを次のように実行しています

エラーを下回っています。

何が問題なのか教えてください。

Devtools を使用して Github から Rhadoop をインストールする方法

私は基本的にhttps://github.com/RevolutionAnalytics/rhdfsからrhdfsをインストールしたいと思っています

しかし、これは機能しません

私は次のことを試しました

と

HDFS からテキストまたは gz ファイルを読み取って、単純な mapreduce ジョブ (実際にはマップ ジョブのみ) を実行しようとしていますが、readLines 部分が機能していないように見えるエラーが発生しました。mapreduce で readLines 関数を使用できるかどうかの回答を求めています。ps。mapreduce ジョブの外部で readLines 関数を使用して HDFS ファイルを解析するだけであれば問題ありません。ありがとう。

Spark - 1.4.1 (R 3.1.3 バージョン) をインストールしました。現在、SparkR をテストして統計モデルを実行しています。次のようなサンプルコードを実行できます。

次に、rJavaパッケージを にインストールしますSparkR。しかし、それはインストールされていません。以下のエラーを与えます。

また、SparkRシェルでコマンドを実行しているときは、32 ビット アプリケーションとして起動されます。以下のようにバージョン情報を強調表示しました。

ですから、この問題を解決するのを手伝ってください。

make.output.format を使用した avro 出力形式のサンプル実装では、「バイト」をスキーマとして使用します。代わりに、json スキーマを avro ファイルに指定します。これを行う方法が見つかりませんでした。これを定義する backend.parameters がいくつかあると思います。

Java mapreduce の setup() と cleanup() に似た、R-Hadoop mapreduce のメソッドはありますか? すべてのレデューサーを開始する前に、db 呼び出しなどのコードの一部を 1 回だけ実行する必要があります。Rを使用してmapreduceコードを書くときにそれを行うための規定はありますか?

Hadoop からダウンロードされるデータに対して R コードを実行するケースがあります。次に、R コードの出力も Hadoop にアップロードされます。現在、手動で行っていますが、この手動のダウンロード/アップロード プロセスを避けたいと考えています。

hdfsに接続してRでこれを行う方法はありますか? つまり、R スクリプトの最初に Hadoop に接続してデータを読み取り、最後に出力データを再度 Hadoop にアップロードします。使えるパッケージはありますか？Hadoop サーバーまたは R で必要な変更はありますか?

重要な部分に注意するのを忘れていました: R と Hadoop は異なるサーバー上にあります。