1

mapred-site.xml を Hadoop クラスターのマスター ノードとスレーブ ノードの両方で変更して、並列実行する map タスクと reduce タスクの最大数などのパラメーターを変更する必要がありますか、それともマスター ノードでの構成変更だけで十分ですか。

マスター ノードで mapred.map.child.java.opts や mapred.reduce.child.java.opts などのパラメーターに対して mapred-site.xml で行われた変更は、クライアント ノードでも変更されますか? または、両方を行っています。

ブロックサイズをデフォルト値とは異なるものにするために、マスターノードとクライアントノードの両方で dfs.block.size を指定する必要がありますか?

そうでない場合、hadoop クラスターの最適化のために、マスター ノードとクライアント ノードの両方で指定する必要があるパラメーターはありますか?

4

1 に答える 1

1

すべてのマシンで、すべての構成ファイルconf/*-site.xmlを変更する必要があります。その理由は、Hadoop には構成情報のための単一のグローバルな場所がないからです。代わりに、クラスター内の各 Hadoop ノードには独自の構成ファイルのセットがあり、それらがシステム全体で同期されていることを確認することが私たちの義務です。

于 2013-09-14T19:40:53.297 に答える