1

HBase のデータの map-reduce ジョブを作成しました。複数のマッパーと単一のレデューサーのみが含まれています。Reducer メソッドは、マッパーから提供されたデータを取り込み、それに対して何らかの分析を行います。HBase 内のすべてのデータの処理が完了したら、単一の Reducer を介して HDFS 内のファイルにデータを書き戻したいと考えました。現在、新しいデータを取得するたびに HDFS にデータを書き込むことができますが、最終的な結論を HDFS に書き込む方法が最後にしかわかりません。

4

1 に答える 1

2

したがって、単一のレデューサーから HDFS に最終結果を書き込もうとする場合は、以下のアプローチのいずれかを試すことができます -

  1. Hadoop API FileSystem の create() 関数を使用して、リデューサーから HDFS に書き込みます。
  2. 最終計算の後にレデューサーから単一のキーと値を発行する
  3. Reducers の cleanup() 関数をオーバーライドし、ポイント (1) を実行します。

3の詳細:

http://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapreduce/Reducer.html#cleanup-org.apache.hadoop.mapreduce.Reducer.Context-

お役に立てれば。

于 2013-07-11T06:30:44.653 に答える