hadoop - Hadoop: クラスタ サイズに基づく使用可能なマップ スロットの数

Question

Hadoop によって生成された syslog を読むと、次のような行が表示されます。

2013-05-06 16:32:45,118 INFO org.apache.hadoop.mapred.JobClient (main): Setting default number of map tasks based on cluster size to : 84

この値がどのように計算されるか知っている人はいますか? そして、プログラムでこの値を取得するにはどうすればよいですか?

Answer 1

いいえを見つけることはInputFormat、主にの義務です。これは、InputFormat クラスのメソッドInputSplits内に記述されたロジックによって作成されたものに基づいて行われます。getSplits(JobContext context)番号の指定 ジョブまたは構成ファイルを介して、またはシェルを介してマッパーを指定することは、フレームワークへの単なるヒントであり、指定された番号のみを常に取得することを保証するものではありません。マッパーの。