KafkaStreams で Siddhi CEP ライブラリを実行したいのですが、既に独自の「ストリーム」の概念があるようです。KafkaStreams をプラグインして、代わりに KafkaStreams で実行される Siddhi 実行プランを有効にするにはどうすればよいですか?
Diliniのコメントに対処する編集>>
参照先: Kafka Streams ドキュメント
Kafka Streams は現在、私が見つけた CEP フレームワークと緊密に統合されていません。たとえば、Apache Flink には独自の Flink CEP があります。したがって、私は Siddhi CEP を Kafka Streams 上の抽象化レイヤーとして使用し、2 つのテクノロジーを緊密に統合することを想定しています。例えば、
- Siddhi CEP ストリームを作成すると、Kafka トピックと Kafka ストリームが自動的に作成され、そのトピックに投稿されたイベントがストリーミングされます。
- Siddhi CEP 出力ストリームを作成すると、Kafka トピックが作成されて公開されます
- Siddhi CEP の「イベント テーブル」は、ローカルの Kafka Streams の「状態ストア」または Kafka トピックのいずれかである可能性があります。これらは本質的に複製され、分割されたデータ ストアであるためです。これは、RDBMS やインメモリ イベント テーブルなどを使用する代わりに使用されます。
- Siddhi CEP Execution Plans の複雑なイベント クエリは、map()、filter() を実行し、Kafka Streams に参加してパターンなどをチェックする Kafka Streams Processor API に転送されます。
特に環境にすでに Kafka ストリームがある場合、複数の「ストリーム」フレームワークが必要な理由を理解しようとしています。