0

HAWQがインストールされたGreenplumに取り組んでいます。Hadoop ストリーミング ジョブを実行したいと考えています。ただし、hadoop が構成または開始されていないようです。hadoop ストリーミングを使用できることを確認するために mapred を起動するにはどうすればよいですか?

4

3 に答える 3

0

単語数を取得するには、次のコマンドを試してください。 

$HADOOP_HOME/bin/hadoop  jar $HADOOP_HOME/hadoop-streaming.jar \
-input <inputDir> \
-output <outputDir> \
-mapper /bin/cat \
-reducer /bin/wc

それが正しい単語数を示している場合は、それが機能している場合は、このコマンドを実行して吐き出されたエラーを確認してください

于 2014-10-21T08:57:12.760 に答える
0

最初に、クラスターが開始され、機能していることを確認します。Pivotal Command Center (通常、リンクは次のようなものですhttps://<admin_node>:5443/) に移動して、クラスターの状態を確認するか、管理者に依頼してください。

次に、ジョブを開始しようとしているマシンに PHD クライアント ライブラリがインストールされていることを確認します。「rpm -qa | grep phd」を実行します

次に、クラスターが実行中でライブラリがインストールされている場合は、次のようにストリーミング ジョブを実行できます。

hadoop jar /usr/lib/gphd/hadoop-mapreduce/hadoop-streaming.jar -mapper /bin/cat -reducer /bin/wc -input /example.txt -output /testout

/example.txt ファイルは HDFS に存在する必要があります

于 2014-11-01T18:18:02.003 に答える