0

Hadoop インスタンスがボックスで実行されていない場合、Hadoop ストリーミングは「ローカル」モードでプロセスを実行します。Hadoop ストリーミング ジョブのセットを順番に制御するシェル スクリプトがあり、ジョブがローカルで実行されているかどうかに応じて、HDFS からローカルにファイルをコピーする条件を設定する必要があります。このテストを実行する標準的な方法はありますか? 「ps aux | grep something」を実行できますが、それはその場しのぎのようです。

4

3 に答える 3

0

ボックスで実行されているHadoopインスタンスがない場合、Hadoopストリーミングは「ローカル」モードでプロセスを実行します。

このためのリファレンスを指摘できますか？

通常のジョブまたはストリーミングジョブは構成された方法で実行されるため、ジョブが実行されるモードを事前に把握できます。単一ノードとクラスターで異なるモードでHadoopを構成するためのドキュメントを確認してください。

于 2011-12-31T08:42:16.420 に答える
0

これはまだ試していませんが、mapred.job.tracker 構成設定を読み取るだけでよいと思います。

于 2012-01-26T23:55:46.903 に答える
0

実行時にプロセスが動作しているモードを検出しようとするよりも、開発中のツールを bash スクリプトでラップして、ローカルとクラスターの操作を明示的に選択することをお勧めします。O'Reilly Hadoop では、構成ファイルのオーバーライドを使用してローカルを明示的に選択する方法について説明しています。

hadoop v2.MaxTemperatureDriver -conf conf/hadoop-local.xml input/ncdc/micro max-temp

ここconf-local.xmlで、ローカル操作用に構成された XML ファイルです。

于 2012-01-13T16:54:33.153 に答える