hadoop - Oozie ワークフロー、mapreduce アクションを構成して、一連のファイルに対してレデューサー/コンバイナーのみを実行する

Question

レデューサー/コンバイナーのみが入力ファイルで実行されるように、既存の mapreduce jar (マッパー、レデューサー、場合によってはコンバイナーも含む) ファイルの oozie ワークフローで mapreduce アクションを構成したいと考えています。

Answer 1

すべての MapReduce ジョブは map フェーズを実行する必要がありますが、次のいずれかの方法でマッパーにデータを直接渡すことができます。

• 古い MR API では、IdentityMapper
• 新しい MR API では、マッパー クラスをまったく指定しないことにより、デフォルトでMapperID マッパーとして機能する基本クラスになります。