0

mapreduceに問題があります。入力として曲のリスト（ "Songname"＃ "UserID"＃ "boolean"）を指定すると、結果として、さまざまなユーザーがそれらを聴く回数が指定された曲リストが必要になります...したがって、''出力（ "Songname "、"タイムリスニング "）。ハッシュテーブルを使用して、1つのカップルのみを許可しました。短いファイルではうまく機能しますが、約1000000のレコードのリストを入力として入力すると、すべてのレコードで同じ値（20）が返されます。

これは私のマッパーです：

    public static class CanzoniMapper extends Mapper<Object, Text, Text, IntWritable>{

    private IntWritable userID = new IntWritable(0);
    private Text song = new Text();

    public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
        String[] caratteri = value.toString().split("#");
        if(caratteri[2].equals("1")){
            song.set(caratteri[0]);
            userID.set(Integer.parseInt(caratteri[1]));
            context.write(song,userID);
        }
    }
  }

これは私のレデューサーです：

public static class CanzoniReducer extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
      Hashtable<IntWritable,Text> doppioni = new Hashtable<IntWritable,Text>();
      for (IntWritable val : values) {
        doppioni.put(val,key);
      }
      result.set(doppioni.size());
      doppioni.clear();
      context.write(key,result);
    }
  }

とメイン：

Configuration conf = new Configuration();

    Job job = new Job(conf, "word count");
    job.setJarByClass(Canzoni.class);
    job.setMapperClass(CanzoniMapper.class);
    //job.setCombinerClass(CanzoniReducer.class);
    //job.setNumReduceTasks(2);
    job.setReducerClass(CanzoniReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);

何か案が？？？

4

1 に答える 1

0

多分私はそれを解決しました。これは入力の問題です。曲数に比べてレコードが多すぎたため、これらのレコードのリストには、各ユーザーが各曲を少なくとも1回はリストしていました。私のテストでは、20人の異なるユーザーがいたので、当然、結果は各曲に20人になります。曲数を増やす必要があります。

于 2012-09-07T10:41:24.020 に答える