hadoop - hdfs ファイルで mapreduce を実行し、リデューサーの結果を hbase テーブルに格納する例

Question

Hbase を使用した mapreduce のリンクの良い例を 1 つ挙げてもらえますか? 私の要件は、hdfs ファイルで mapreduce を実行し、reducer の出力を hbase テーブルに保存することです。マッパーの入力は hdfs ファイルで、出力は Text,IntWritable キーと値のペアです。レデューサーの出力は Put オブジェクトになります。つまり、レデューサーの Iterable IntWritable 値を追加し、hbase テーブルに格納します。

Answer 1

これがあなたの問題を解決するコードです

---

---

運転者

HBaseConfiguration conf =  HBaseConfiguration.create();
Job job = new Job(conf,"JOB_NAME");
    job.setJarByClass(yourclass.class);
    job.setMapperClass(yourMapper.class);
    job.setMapOutputKeyClass(Text.class);
    job.setMapOutputValueClass(Intwritable.class);
    FileInputFormat.setInputPaths(job, new Path(inputPath));
    TableMapReduceUtil.initTableReducerJob(TABLE,
            yourReducer.class, job);
    job.setReducerClass(yourReducer.class);
            job.waitForCompletion(true);

---

---

Mapper&Reducer

class yourMapper extends Mapper<LongWritable, Text, Text,IntWritable> {
//@overide map()
 }

---

class yourReducer
        extends
        TableReducer<Text, IntWritable, 
        ImmutableBytesWritable>
{
//@override rdeuce()
}

---