問題タブ [rhadoop]

rmr2およびrhdfsパッケージがインストールされたHadoopクラスターセットアップがあります。CLIとrscriptを介していくつかのサンプルMRジョブを実行することができました。たとえば、これは機能します。

最終出力：

私は今、自分のMRジョブを書く次のステップに移ろうとしています。いくつかの打撃統計を含むファイル（ `/user/michael/batsmall.csv'）があります。

（batsmall.csvははるかに大きなファイルの抽出ですが、実際には、hdfsからファイルを読み取って分析できることを証明しようとしています）

これが私が持っているスクリプトです：

これは毎回失敗し、hadoopログを見ると、パイプの破損エラーのようです。何が原因なのかわかりません。他の仕事がうまくいくので、それは私の設定ではなく私のスクリプトの問題だと思いますが、私はそれを理解することができません。私は確かにR初心者であり、Hadoopは比較的新しいです。

ジョブの出力は次のとおりです。

そして、ジョブトラッカーからのサンプル例外：

目的:単一システム (VM 版ではない) にRHadoopをインストールする

システム仕様: 32 ビット プロセッサ、2GB RAM、Windows 7 & Ubuntu 12.10

説明:ライブラリーを使用して R で Hadoop を実行しようとしていRHadoopます。私のシステム RAM は少ないので、実行しようとCloudera VMすると非常に遅くなります。1. RHadoop のインストール
2. Amazon EC2 での RHadoopなど、いくつかのオンライン チュートリアルを実行しました。

しかし、それらのどれも完全な手順を持っていません。R v2.15.2 と Rstudio を Ubuntu にインストールできました。また、RHadoop の github リポジトリのクローンも作成しました。

RHadoop を32 ビットシステムにインストールするための優れたチュートリアルを提案できる人はいますか

私はRhadoop（Rとhadoopの間のリンケージ）で何かを計算しようとしました。

Hadoop-1.0.4 にサンプルを埋め込んでクラスターのベンチマークを行ったところ、うまく機能しているように見えました。(つまり、CPU 使用率は 50% から 100% の間で変動していましたが、スレーブノードのすべてのコアが機能していました)

しかし、Rhadoop の例を適用すると、そうではありませんでした。(各スレーブノードの 1 つのコアのみがアクティブ化されました。)

Rhadoop でセットアップする必要がある構成はありますか? (core-site.xml などの Hadoop の構成ファイルで行ったのと同じように)

ありがとう

ローカルファイルシステムからhdfsにフォルダをエクスポートしようとしています。Rを介してコードを実行しています。どうすればそれができますか？

提案を期待

VMware Player と Hortonworks Sandbox for Hadoop をインストールしました。その上でRHadoopを構成/実行するための助けが必要です。R と Hadoop を使用する必要があります。助けてください。よろしくお願いします。

私はビッグデータが初めてで、推奨、クラスタリング、および分類を実行するための優れたプラットフォームを探しています。Mahoutにはこれを行うための多くのアルゴリズムがあることを理解しています。また、R 自体が非常に優れた分析ツールであることも、これを達成するのに役立ちます。私はビッグデータを調べているので、このパスを取ることにした場合は、(ストリーミング/RHIPE/RHadoop などを介して) R+hadoop を使用します。使用する言語 ( mahout の Java と R ) の複雑さの違いは、現時点では私にとって要因ではないことを考慮して、パフォーマンス、スケーラビリティ、使いやすさ、成熟度などに関する比較を求めています。