マップ フェーズがかなり長い Hadoop ジョブがあり、他の短いジョブを優先して実行したいと考えています。このために、hadoop job -set-priority job_id LOW で長いジョブの優先度を設定しました。
問題は、私の長い仕事の場合、マップ タスクの 30% しか完了していない場合でも、リデューサーのコピー フェーズが開始されることです。
すべての削減スロットが優先度の低いジョブによって使用されるため、グリッドは一種のブロックされます。他の小さなジョブはマップ フェーズを実行できますが、私の長いジョブが終了するまでレデューサーを取得することはありません。
何か案が？ありがとう。J.