1

Hadoop でカスタム データ型を初めて使用します。これが私のコードです:

カスタム データ タイプ:

public class TwitterData implements Writable {

private Long id;
private String text;
private Long createdAt;

public TwitterData(Long id, String text, Long createdAt) {
    super();
    this.id = id;
    this.text = text;
    this.createdAt = createdAt;
}

public TwitterData() {
    this(new Long(0L), new String(), new Long(0L));
}

@Override
public void readFields(DataInput in) throws IOException {
    System.out.println("In readFields...");
    id = in.readLong();
    text = in.readLine();
    createdAt = in.readLong();
}

@Override
public void write(DataOutput out) throws IOException {
    System.out.println("In write...");
    out.writeLong(id);
    out.writeChars(text);
    out.writeLong(createdAt);
}

public Long getId() {
    return id;
}

public void setId(Long id) {
    this.id = id;
}

public String getText() {
    return text;
}

public void setText(String text) {
    this.text = text;
}

public Long getCreatedAt() {
    return createdAt;
}

public void setCreatedAt(Long createdAt) {
    this.createdAt = createdAt;
}
}

マッパー:

public class Map extends Mapper<Object, BSONObject, Text, TwitterData>{

@Override
public void map(Object key, BSONObject value, Context context) throws IOException, InterruptedException {
    BSONObject user = (BSONObject) value.get("user");
    String location = (String) user.get("location");

    TwitterData twitterData = new TwitterData((Long) value.get("id"),
            (String) value.get("text"), (Long) value.get("createdAt"));

    if(location.toLowerCase().indexOf("india") != -1) {
        context.write(new Text("India"), twitterData);
    } else {
        context.write(new Text("Other"), twitterData);
    }
}
}

主な職種コード :

job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(TwitterData.class);

マッピングプロセスの後にこの例外をスローします。なぜこのエラーが表示されるのか、私はうんざりしています。誰でも私を助けてください。前もって感謝します。

4

1 に答える 1

2

文字を書き、行を読みます。これらは、2 つの異なるシリアライゼーション プロセスです。

あなたがする必要があるのは、これを行うことです：

@Override
public void readFields(DataInput in) throws IOException {
    id = in.readLong();
    text = in.readUTF();
    createdAt = in.readLong();
}

@Override
public void write(DataOutput out) throws IOException {
    out.writeLong(id);
    out.writeUTF(text);
    out.writeLong(createdAt);
}
于 2013-03-07T08:24:29.243 に答える