hadoop - Hadoop ジョブの実際の処理時間

Question

私のクラスターは現在、A時間がかかり、優先度がVERY_LOWのジョブで占有されています。

B昨日、すでに実行されている間に別のジョブを開始しましたAが、かなり速く実行されるべきだったと思います。ただし、ジョブの詳細で47分かかったことがわかりました。これは実際の処理時間ではないと思います。いつから仕事が始まったのか調べてみました。どこで見ることができますか？

Answer 1

あなたが求めているものを正確に述べている場所はどこにも見つからないようですが、ポート50030のジョブトラッカーでジョブを調べ、個々のマッパーとリデューサーの詳細を確認できます. そこでは、個々のマッパーとリデューサーが開始時間と終了時間からタスクを完了するまでにかかった時間を確認できます。

2 番目のジョブを開始したときに空いているマッパーまたはリデューサーがなかった場合、2 番目のジョブは最初のジョブがそれらを解放するまで進行できません。実際に同時に実行されています。ジョブが開始された時間と最初の実際のマッパーが開始された時間は、リソースを待っていたかどうかを示します。つまり、ジョブとマッパーの開始時間の間の時間を全体の 47 分から差し引くことができます。