問題タブ [rhadoop]

ubuntu 16.04 に hadoop 2.7.2 をインストールし、単一ノード クラスターに Rstudio と Rhadoop (rmr2、rhdfs、rhbase) もインストールしました。RHadoop パッケージは、「/home/hduser/R/x86_64-pc-linux-gnu-library/3.2/」ディレクトリにインストールされます。ただし、単純な例を使用するとエラーが発生し、hadoop ストリーミングが失敗します。打撃はより詳細です: 誰でも私を助けてくれませんか?

ここにエラーの画像があります

rmr2 パッケージをロードするたびに、次の警告メッセージも表示されます。

library("rmr2", lib.loc="~/R/x86_64-pc-linux-gnu-library/3.2") 警告メッセージ: S3 メソッド 'gorder.default', 'gorder.factor', 'gorder.data. frame'、'gorder.matrix'、'gorder.raw' は NAMESPACE で宣言されましたが、見つかりませんでした

Impala と RStudio 間の接続を確立できません。

Cloudera Manager と RStudio に Cloudera クイックスタート VM を使用しています

以下のコードを見て、何かできることがあればアドバイスしてください。

初期化

出力

接続中

出力

Cloudera Machine で RStudio を使用して arulesViz ライブラリをインストールしようとしています。そのために私は実行しています：

しかし、次のエラーが発生します。

どうすればこの問題を解決できますか?

ありがとう！

エラー: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): org.apache.hadoop.streaming.PipeMapRed.mapRedFinished の org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:320) でサブプロセスがコード 1 で失敗しました(PipeMapRed.java:533) org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130) org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61) org.apache. hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34) の org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:430) の org.apache.hadoop.mapred.MapTask.run(MapTask.java: 342) org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:167) で java.security.AccessController.doPrivileged(ネイティブメソッド) で javax.security.auth.Subject.doAs(Subject.java:415) ) 組織で。org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162) の apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1556)

SI モデルを使用して、グラフ上の情報の拡散を測定したいと考えています。i 最初に感染したノードのセットを定義します。私はこのコードに基づいていました：ネットワーク拡散のための感染しやすいモデルが適切に開発されました。しかし、5000 ノードのグラフでコードを実行すると、数時間実行されます。これが私のコードです：

最初に感染したノードの各ノードは、ある程度の確率で隣接ノードに感染するため、出力として、各ステップで感染したノードのリストを取得します。

このコードを RHadoop システムで実行できるように調整したいと考えています。しかし、私はRHadoopの初心者です。正確にどこを変更すればよいかわかりません。また、Hadoop でグラフを導入するにはどうすればよいですか?? 提案をお願いします。