問題タブ [rhadoop]

以下のRscript gdp.Rを実行しています

mapreduce 関数で以下のエラーを乗り越えることができませんでした:

ストリーミング コマンドが失敗しました! mr のエラー (map = map、reduce = reduce、combine = Combine、vectorized.reduce、: Hadoop ストリーミングがエラー コード 1 で失敗しました。呼び出し: mapreduce -> mr

私の stderr ログは次のとおりです。

どんな提案でも大歓迎です

ありがとう -S

注:システム変数 HADOOP_CMD が見つからないことを示す標準エラー ログのエラーをブロック引用しました。HADOOP システム環境変数を R にエクスポートする方法はありますか? また、スクリプトの先頭で Sys.getenv(c("HADOOP_HOME", ...)) を使用していることにも注意してください。

~/.bash_profile に HADOOP 環境変数用の次のエクスポート コマンドを既に追加していることに注意してください。

rhdfs をインストールしたばかりで、それがどのように機能するかを確認したかったのです...

以下のコードを試しました：

私はエラーに直面しています:

誰が問題が何であるかを助けてもらえますか??

RHadoop rhdfs パッケージを使用して、多数の列を持つ CSV 入力ファイルで次元削減を実行しています。出力は、すべての列の選択されたサブセットになります。簡単にするために、CSV ファイルの最初の 5 列だけを取得しようとしています。

mapreduce 関数を適用して、MR フレームワークを使用し、インメモリ処理の代わりに HDFS ストレージを使用して次元削減を実行しようとしています。

私のコードは次のとおりです。

予測列とラベル列を最後のものとして持つ訓練データセットを取ります。私が試みているのは、予測子の数を 100 から 5 にcbind減らし、クラス ラベル列を削減された予測子に減らし、最終的に削減されたトレーニング データ セットを hdfs に格納することです。

現在、hdfs ファイルを名前local.matrixでローカル マトリックスに保存しているため、ファイル全体をメモリ内に保存する必要があります。local.matrixを使用してインメモリをバイパスできる方法はありますか

to.dfs(local.matrix)次に、local.matrix の HDFS ストレージの場所hdfsWritePathをtransfer.csvfile.hdfs.to.hdfs.reduced function?

RHadoop チュートリアルhttps://github.com/RevolutionAnalytics/rmr2/blob/master/docs/tutorial.mdに従って、2 番目の例を実行していますが、解決できないエラーが発生しています。コードは次のとおりです。

マップ ジョブは成功しましたが、リデュース ジョブは失敗しました。エラー メッセージの一部は次のとおりです。

タスクが失敗したため、ジョブが失敗しました。failedMaps:0 失敗したReduces:1

誰か助けてくれませんか？ここから先に進めませんでした。ありがとう。

以下のスタックオーバーフローのリンクに似た質問があります

R+Hadoop: HDFS から CSV ファイルを読み込んで mapreduce を実行する方法は?

HDFS の場所「/somnath/logreg_data/ds1.10.csv」からファイルを読み取り、その列数を 10 から 5 に減らしてから、別の場所「/somnath/logreg_data/reduced/ds1.10」に書き込もうとしています。以下の関数を使用して HDFS の .reduced.csv" を作成し transfer.csvfile.hdfs.to.hdfs.reducedます。

関数定義は

しかし、私はエラーを受け取っています

また

以下のコマンドを使用して hdfs からファイルをロードしようとすると、次のエラーが発生します。

どんな助けでも大歓迎です

ありがとう

私は Hadoop を初めて使用するので、質問がばかげている場合はご容赦ください。ローカルの単一ノード クラスターがあります。RHadoop で単純な MapReduce ジョブを実行しようとすると、次のメッセージが表示されます。

このすべてのオプションを設定するにはどうすればよいですか? hdfs.tempdir へのパスはどのようになりますか? 一時ディレクトリを次のように設定したいと思います（Rが私に何を望んでいるかを正しく理解している場合））：

ところで、私はすでに試しました

助けてください。どうもありがとう。

更新:

また試しました：

役に立ちません。

以下の R スクリプトを試して、「hdfs://:/somnath/merged_train/part-m-00000」にある HDFS データ ファイルで RHadoop (rmr2、rhdfs パッケージ) を使用してロジスティック回帰モデルを構築し、次を使用してモデルをテストしています。 「hdfs://:/somnath/merged_test/part-m-00000」にあるテスト HDFS データ ファイル。

Hadoop-0.20 でサポートされている MR1 と並行して実行される Yarn/MR2 で CDH4 ディストリビューションを使用しています。また、hadoop-0.20 の mapreduce および hdfs バージョンを使用して、以下に示す Sys.setenv コマンドとして以下の RHadoop スクリプトを実行します。

ただし、スクリプトを実行しているときはいつでも、以下のエラーに直面していますが、それをバイパスする運はほとんどありません。NA引数を処理せずにRでlapplyを呼び出す方法が間違っているためと思われるこのエラーの考えられる原因を誰かが指摘していただければ幸いです。

以下は私のRスクリプトです：

注: root ~/.bash_profile で次のように HADOOP の次の環境変数を設定しました。

サンプル列車データセット

サンプル テスト データセット

R スクリプトで mapreduce 関数 (rmr2 パッケージ内) の入力行列として HDFS ファイルを読み込んでいるときに、次のエラーが発生します。

HDFS に格納されたファイルを入力行列として読み取る方法を提案できる人はいますか? 洞察に満ちたヘルプは非常に高く評価され、それに応じて報われます。

前もって感謝します、ソムナス