6

私の Kafka ストリーム アプリの 1 つで、DSL と Processor API の両方の機能を使用する必要があります。私のストリーミングアプリの流れは

source -> selectKey -> filter -> aggregate (on a window) -> sink

集約後、SINGLE 集約メッセージをシンクに送信する必要があります。だから私は以下のように私のトポロジを定義します

KStreamBuilder builder = new KStreamBuilder();
KStream<String, String> source = builder.stream(source_stream);
source.selectKey(new MyKeyValueMapper())
      .filterNot((k,v) -> k.equals("UnknownGroup"))
      .process(() -> new MyProcessor());

カスタムを定義し、StateStore以下のようにプロセッサに登録します

public class MyProcessor implements Processor<String, String> {

    private ProcessorContext context = null;
    Serde<HashMapStore> invSerde = Serdes.serdeFrom(invJsonSerializer, invJsonDeserializer);


    KeyValueStore<String, HashMapStore> invStore = (KeyValueStore) Stores.create("invStore")
        .withKeys(Serdes.String())
        .withValues(invSerde)
        .persistent()
        .build()
        .get();

    public MyProcessor() {
    }

    @Override
    public void init(ProcessorContext context) {
        this.context = context;
        this.context.register(invStore, false, null); // register the store
        this.context.schedule(10 * 60 * 1000L);
    }

    @Override
    public void process(String partitionKey, String message) {
        try {
            MessageModel smb = new MessageModel(message);
            HashMapStore oldStore = invStore.get(partitionKey);
            if (oldStore == null) {
                oldStore = new HashMapStore();
            }
            oldStore.addSmb(smb);
            invStore.put(partitionKey, oldStore);
        } catch (Exception e) {
           e.printStackTrace();
        }
    }

    @Override
    public void punctuate(long timestamp) {
       // processes all the messages in the state store and sends single aggregate message
    }


    @Override
    public void close() {
        invStore.close();
    }
}

アプリを実行すると、java.lang.NullPointerException

org.apache.kafka.streams.processor.internals.ProcessorStateManager の org.apache.kafka.streams.state.internals.MeteredKeyValueStore.flush(MeteredKeyValueStore.java:167) でのスレッド "StreamThread-18" java.lang.NullPointerException の例外org.apache.kafka.streams.processor.internals.StreamTask.commit(StreamTask.java:252) の .flush(ProcessorStateManager.java:332) org.apache.kafka.streams.processor.internals.StreamThread.commitOne(StreamThread) .java:446) org.apache.kafka.streams.processor.internals.StreamThread.commitAll(StreamThread.java:434) で org.apache.kafka.streams.processor.internals.StreamThread.maybeCommit(StreamThread.java:422) で) org.apache.kafka.streams.processor.internals.StreamThread.runLoop(StreamThread.java:340) で org.apache.kafka.streams.processor.internals.StreamThread.run(StreamThread.java:218)

ここで何がうまくいかないのですか?

4

1 に答える 1