0

8 GM RAM が割り当てられた 64 ビット VM シングル ノードの Hortonworks Data Platform 2.1 (サンドボックス) の上に rhdfs および rmr2 パッケージをインストールしました。次の非常に単純な RHadoop ジョブを実行しようとすると、永遠に時間がかかりますが、完了することはありません (yarn.nodemanager.resource.memory-mb と yarn.scheduler.maximum- の値を増やした後でも実行時エラーは発生しません)。 allocation-mb をデフォルトから 4096 に変更):

from.dfs(mapreduce(to.dfs(1:100)))

基礎となる HDP がこのような非常に単純な RHadoop ジョブを完了する方法についての提案をお待ちしております。

RHadoop のインストール後も HDP が正常に動作していることを確認するために、次のことを確認しました。

mapred job -kill job_my_rhadoop_job_id
yarn jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.4.0.2.1.1.0-385.jar pi 16 100000
Job Finished in 70.457 seconds
Estimated value of Pi is 3.14157500000000000000
4

1 に答える 1

0

HDP で RHadoop を実行できなかったので、H2O にリモートで接続する RStudio/R と共に、HDP 上で H2O を実行するように切り替えました。このような組み合わせは、VM 用に持っているものでうまく機能しているようです。したがって、私の個人的な見解では、HDP の上で RHadoop を使用することは避けてください。

于 2014-10-24T17:32:36.890 に答える