0

Hadoop クラスターで Hive ジョブを実行しています。異なる動作マッパーとリデューサーに集中するだけで、パフォーマンスが向上/変化することを知りました。しかし、私はそれまで遊んだことがありません。いいえまで、Hive で遊んで、デフォルトのマッパーとリデューサーでクエリを実行しましたか?

マッパーとレデューサーについて知っているので、パフォーマンスが得られるようにマッパーとレデューサーに設定する値が異なることを心配しています。また、マスター ノードのみに設定する必要があるのか​​、それともすべてのノードに設定する必要があるのか​​ も考えています。

これに関連する考えがある人は、これについてのシナリオを説明してください。

また、ジョブの実行中に設定する必要がある他のパラメーターは何ですか?

4

1 に答える 1

1

私の理解では、マッパーの数はジョブごとに設定するものではありません。これは、ノードあたりのスロット数 (MapRed-site.xml でクラスター全体に設定したもの、所有する分割数、およびその他のジョブ (Fair of Capacity Scheduler を使用する場合 - キューのパラメーターも) を考慮して JobTracker によって計算されます)。リデューサーの数は結果に影響を与えるため、ジョブごとに設定できます
. コマンド
set mapred.reduce.tasks=128で

于 2012-05-09T06:57:27.490 に答える