同じ map/reduce タスクを複数回繰り返すには、どこにループを配置すればよいですか? 私はそれがメインプログラムにあるべきであることを知っていrunJob
ます.
質問する
958 次
1 に答える
2
これは、私が以前に見たThomas Jungblut の素晴らしいブログから抜粋した、あなたがやろうとしていることをするための素晴らしい例です:
while (counter > 0) {
// reuse the conf reference with a fresh object
conf = new Configuration();
// set the depth into the configuration
conf.set("recursion.depth", depth + "");
job = new Job(conf);
job.setJobName("Graph explorer " + depth);
job.setMapperClass(ExplorationMapper.class);
job.setReducerClass(ExplorationReducer.class);
job.setJarByClass(ExplorationMapper.class);
// always work on the path of the previous depth
in = new Path("files/graph-exploration/depth_" + (depth - 1) + "/");
out = new Path("files/graph-exploration/depth_" + depth);
SequenceFileInputFormat.addInputPath(job, in);
// delete the outputpath if already exists
if (fs.exists(out))
fs.delete(out, true);
SequenceFileOutputFormat.setOutputPath(job, out);
job.setInputFormatClass(SequenceFileInputFormat.class);
job.setOutputFormatClass(SequenceFileOutputFormat.class);
job.setOutputKeyClass(LongWritable.class);
job.setOutputValueClass(VertexWritable.class);
// wait for completion and update the counter
job.waitForCompletion(true);
depth++;
counter = job.getCounters().findCounter(ExplorationReducer.UpdateCounter.UPDATED)
.getValue();
}
于 2013-01-17T00:28:55.753 に答える