0

キーが a、b、c の 3 つの部分で構成されるデータセットがあります。私のマッパーでは、キーが「a」で値が「a、b、c」のレコードを発行したいと考えています。

Hadoop のマッパーから検出された「a」ごとに合計レコードの 10% を出力するにはどうすればよいですか? 以前の Map-Reduce ジョブからの「a」ごとに表示されたレコードの総数を一時ファイルに保存することを検討する必要がありますか?

4

2 に答える 2

0

この Java コードを使用して、ランダムに 10% を選択します。

import java.io.IOException;
import java.util.*;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

public class RandomSample {

 public static class Map extends Mapper<LongWritable, Text, Text, Text> {
    private Text word = new Text();

    public void map(LongWritable key, Text value, Context context)
    throws IOException, InterruptedException {
        if (Math.random()<0.1)
            context.write(value,null);
        else
            context.write(null,null);
    context.write(value,null);
    } 
 }

 public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();

    Job job = new Job(conf, "randomsample");
    job.setJarByClass(RandomSample.class);

    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);

    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(Text.class);
    job.setInputFormatClass(TextInputFormat.class);
    job.setOutputFormatClass(TextOutputFormat.class);

    job.setNumReduceTasks(0);

    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));

    job.waitForCompletion(true);
 }

}

そして、このbashスクリプトを使用して実行します

echo "Running Job"
hadoop jar RandomSample.jar RandomSample $1 tmp
echo "copying result to local path (RandomSample)"
hadoop fs -getmerge tmp RandomSample
echo "Clean up"
hadoop fs -rmr tmp

たとえば、スクリプトrandom_sample.shに という名前を付けた場合、フォルダーから 10% を選択するには/example/、次のように実行します。

./random_sample.sh /example/
于 2014-12-24T11:33:01.823 に答える
0

10% 近くが必要な場合は、ランダムを使用できます。マッパーの例を次に示します。

public class Test extends Mapper<LongWritable, Text, LongWritable, Text> {

    private Random r = new Random();

    @Override
    public void map(LongWritable key, Text value, Context context)
            throws IOException, InterruptedException {
        if (r.nextInt(10) == 0) {
            context.write(key, value);
        }
    }

}
于 2013-06-20T01:31:09.060 に答える