マッパーとマップタスクの違いは何ですか? 同様に、リデューサーとリデュース タスク? また、mapreduce タスクの実行中に mappers、maptask、reducer、reducetask の数はどのように決定されますか? それらの間に相互関係がある場合はそれらを与えてください。
1248 次
1 に答える
1
単純なマップ タスクは Mapper のインスタンスです。Mapper と Reducer は、mapreduce ジョブのメソッドです。
mapreduce ジョブを実行すると、生成される map タスクの数は、入力のブロック数 (ブロック数は入力分割に依存) に依存します。ただし、reduce タスクの数は mapreduce ドライバー コードで指定できます。ジョブ構成オブジェクトにプロパティ mapred.reduce.tasks を設定して指定するか、org.apache.hadoop.mapreduce.Job#setNumReduceTasks(int reducerCount);メソッドを使用できます。
古い JobConf APIsetNumMapTasks()にはメソッドがありました。ただし、入力分割に基づいてマッパーの数を計算する必要があるためsetNumMapTasks()、新しい API ではメソッドが削除されています。org.apache.hadoop.mapreduce.Job
于 2014-03-25T05:37:59.803 に答える