複数ノードのセットアップ（マスタースレーブ）で公平なスケジューリングを構成する場合、プロパティは両方のノードのmapred-site.xmlで定義する必要がありますか、それともマスターノードでのみ定義する必要がありますか？ありがとう。
1 に答える
0
通常、複数の場所でプロパティを定義する必要はありません。必要に応じて、Hadoop は mapred-site.xml ファイルをスレーブに自動的にコピーします。
ローカルで実行している場合は、HADOOP_CONF_DIR/mapred-site.xml編集する必要があります。
また、Amazon の EMR クラスターで実行している場合は、クラスター自体を起動しているときに、この構成ファイルをブートストラップ アクションとして指定すると、すべてのノードにコピーされます。次のようにcliを使用して実行できます。
ruby elastic-mapreduce --create --alive --plain-output --master-instance-type m1.xlarge --
slave-instance-type m1.xlarge --num-instances 11 --name "Cluster name" --bootstrap-action
s3://elasticmapreduce/bootstrap-actions/configure-hadoop --args "--mapred-config-file,
s3://<path-to-conf>/mapred-site-edited.xml"
したがって、基本的に各 Hadoop ノードには独自の構成が必要ですが、手動で各ノードにコピーする必要はありません。
于 2012-12-28T20:34:09.063 に答える