問題タブ [rhadoop]

既存の Hadoop クラスターに R をセットアップしています。これまでのところ、クラスターのノード (EDGE ノード) 部分の 1 つに R rpm と関連するライブラリ パッケージをインストールしましたが、期待どおりに動作します。R rpm はクラスターのすべてのサーバーにインストールされますか、それともライブラリ ディレクトリ (私の場合は/usr/lib64/R/library ) だけがすべてのサーバーで同期されますか?

現在、データ フレームに強制されている NULL 値に関連する以下のエラーに直面しています。データセットにはnullが含まれていますが、 is.na() と is.null() 関数の両方を試して、null値を別のものに置き換えました。データは hdfs に保存され、pig.hive 形式で保存されます。以下のコードも添付しました。キーから v[,25] を削除すると、コードは正常に機能します。

コード：

エラー：

更新 サンプル データを追加し、上記のコードを編集しました。お役に立てれば！

サンプルデータ：

みなさん、Rhbaseパッケージをインストールしようとしていますが、最初はthriftパッケージがありませんでした。解決したのですが、別のエラーが表示されます。TProcessor.h を ../lib/cpp/src/thrift/processor/ に追加しましたが、役に立たず、同じエラーが表示されます。

私はRStudioを使用しています どうもありがとう

Hadoop ホームの追加

HADOOP CMD PATH の設定

Sys.setenv("HADOOP_CMD"="ssh://root@192.168.10.70/home/easy/hadoop/bin/hadoop")

ライブラリrhdfsをロード

HDFS の初期化

日付 (2015 年 1 月 10 日、2016 年 1 月 10 日、2017 年 1 月 10 日) のデータ セットがあります。このようにフォーマットを変更したい（2015、2016、2017）。Hadoop を使用してこれを行う必要があります。

rhipe と RHadoop [rmr rhdfs rhbase など] シリーズのパッケージを試していました。

[rhipe と rmr] の両方のパッケージで、csv またはテキスト ファイルに保存されたデータを取り込み/読み取ることができます。どちらも新しいファイル形式の作成をサポートしていますが、rmr の方がより多くのサポートを提供しているか、少なくとも開始するためのリソースが多いことがわかりました。この要件は、HDFS に保存された生データに対していくつかのデータ処理を実行する予定があり、最終的に Hive Impala などの Hadoop の他のコンポーネントが認識できる形式で HDFS に保存したい場合に役立ちます。どちらのパッケージも書き込み可能です。パッケージのみが認識できるネイティブ形式で。パッケージ rmr は、他のいくつかの形式をサポートしています。

rmr に関連する参照については、https ://github.com/RevolutionAnalytics/rmr2/blob/master/docs/getting-data-in-and-out.md を参照してください。

しかし、rhipe の場合、そのようなドキュメントは取得できず、さまざまな方法を試してみましたが失敗しました。

私の質問は、HDFS に保存されたファイルを読み取り、rhwatchrhipe で実行した後、どのようにテキストに書き戻すことができるかです [たとえば、他の認識可能な形式も機能します]。