Hadoop ジョブの「mapred.reduce.slowstart.completed.maps」の理想的な値は? 適切に設定するために従うべきルールは何ですか?
ありがとう！
質問する
5342 次
1 に答える
15
これは、ジョブ、クラスター、および使用率のさまざまな特性によって異なります。
ジョブに必要なマップ スロットの数とマップの最大容量: 1000 のマップ タスクを生成するジョブがあり、合計で 10 のマップ スロットしかない場合 (要点を示す極端なケース)、リデューサーを早期に開始すると、タスクの実行を減らしすぎます。この場合、スロースタートを大きな値 (0.999 または 1.0) に設定します。これは、マッパーが完了するまでに時間がかかる場合にも当てはまります。他の誰かにレデューサーを使用させてください。
クラスターの負荷が比較的軽く (リデューサー スロットの競合がない)、マッパーが大量のデータを出力する場合、スロースタートの値を低くすると、ジョブをより早く終了させるのに役立ちます (他のマップ タスクが実行されている間)。レデューサーに移動されたマップ出力データを取得します)。
おそらくもっとあります
于 2012-07-06T21:37:12.783 に答える