hadoop - Hadoop MapReduce での Mapper/Reducer のセットアップおよびクリーンアップ メソッド

Question

各マッパー タスクとリデューサー タスクでそれぞれセットアップ メソッドとクリーンアップ メソッドが呼び出されますか? それとも、全体的なマッパーおよびリデューサー ジョブの開始時に 1 回だけ呼び出されますか?

Answer 1

これらはタスクごとに呼び出されるため、20 個のマッパーを実行している場合、セットアップ / クリーンアップはそれぞれに対して呼び出されます。

1 つの落とし穴は、Mapper と Reducer の両方の標準の run メソッドが map/reduce メソッドの周りの例外をキャッチしないことです。したがって、これらのメソッドで例外がスローされた場合、クリーンアップ メソッドは呼び出されません。

2020 編集: コメントに記載されているように、2012 (Hadoop 0.20) からのこのステートメントはもはや当てはまりません。クリーンアップは finally ブロックの一部として呼び出されます。

Answer 2

Mapper タスクまたは Reducer タスクごとに呼び出されます。これがHadoopコードです。

public void run(Context context) throws IOException, InterruptedException {
    setup(context);
    try {
      while (context.nextKey()) {
        reduce(context.getCurrentKey(), context.getValues(), context);
      }
    } finally {
      cleanup(context);
    }
  }

Answer 3

mapreduce のドキュメントによると、 Mapper および Reducer タスクごとに setup と cleanup が呼び出されます。

Answer 4

レデューサーでは、ジョブで job.setNumReduceTasks(1); を実行できます。そうすれば、レデューサーのセットアップとクリーンアップは一度だけ実行されます。