1

次のコードを検討してください。

public static long Offset = 0L;
FetchRequest req = new FetchRequest(KafkaProperties.topic, 0, Offset,10485760);
ByteBufferMessageSet messageSet = simpleConsumer.fetch(req);

問題は、最後のオフセットを取得し、変数を元に戻してOffset、Kafka から次のデータのバッチを読み取る方法です。

更新： データを印刷するとき：

for (MessageAndOffset messageAndOffset : messageSet) { 
            System.out.println(messageAndOffset);
}

出力は次のようになります。

MessageAndOffset(message(magic = 1, attributes = 0, crc = 2000130375, payload = java.nio.HeapByteBuffer[pos=0 lim=176 cap=176]),296215)
MessageAndOffset(message(magic = 1, attributes = 0, crc = 956398356, payload = java.nio.HeapByteBuffer[pos=0 lim=196 cap=196]),298144)
....
....
MessageAndOffset(message(magic = 1, attributes = 0, crc = 396743887, payload = java.nio.HeapByteBuffer[pos=0 lim=179 cap=179]),299136)

ドキュメントによると、最後の数字はオフセットです

MessageAndOffset(message: Message, offset: Long)

つまり、上記の場合、最後のオフセット読み取りは299136

4

1 に答える 1

3

このようなものは役に立ちますか? これについての 1 つの悪い点は、永遠にループすることです。

    long offset = 0;

    while (true) {
        FetchRequest fetchrequest = new FetchRequest(topicName, 0, offset, 10485760);

        ByteBufferMessageSet messages = consumer.fetch(fetchrequest);
        for (MessageAndOffset msg : messages) {
            System.out.println("consumed: " + Utils.toString(msg.message().payload(), "UTF-8"));
            offset = msg.offset();
        }

    }

また、0.8 Kafka SimpleConsumer の例では、以下のようなものがあります

    long numRead = 0;
    for (MessageAndOffset messageAndOffset : fetchResponse.messageSet(a_topic, a_partition)) {
          long currentOffset = messageAndOffset.offset();
          if (currentOffset < readOffset) {
             System.out.println("Found an old offset: " + currentOffset + " Expecting: " + readOffset);
             continue;
          }
          readOffset = messageAndOffset.nextOffset();
          ByteBuffer payload = messageAndOffset.message().payload();

          byte[] bytes = new byte[payload.limit()];
          payload.get(bytes);
          System.out.println(String.valueOf(messageAndOffset.offset()) + ": " + new String(bytes, "UTF-8"));
          numRead++;
          a_maxReads--;
    }

しかし、彼らは、アプリケーションがa_maxread(読み取るメッセージの最大数) パラメーターが引数として渡されることを期待しているため、永遠にループしないとも述べています。私はカフカが初めてで、これがあなたが探しているものかどうかわかりません。

于 2013-08-19T09:22:59.973 に答える