ジョブ トラッカーが作成するマッパーの数を計算するのは簡単です。基本的に、分割サイズで割った hdfs ファイルのサイズになります。したがって、hdfs ファイルのサイズが 640MB で分割が 64MB の場合、ジョブ トラッカーは 10 個のマッパーを作成します。しかし、作成されるマッパーの数が予想を超える場合があります。ジョブが終了したときに画面に表示されるプリントを見て、作成されたマッパーの数を把握します。
私の質問は次のとおりです。おそらく別のログを見て、より多くのマッパーが作成された理由を理解できますか?
注：マップ削減ジョブがあり、同じジョブを異なる時間に実行すると、異なるマッパーが報告されます。作成される追加のマッパーは巨大ではありませんが。