FlinkCEP を使用して、パターンに対して「遅延」マッチのみを実行したいと考えています。これどうやってするの?たとえば、入力ストリーム ACABCABCB があり、A followedBy C で一致させて、6 一致ではなく 3 一致のみを取得したいと考えています。
私の問題を説明するために、次の例を作成しました。
val env = StreamExecutionEnvironment.createLocalEnvironment(1)
env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime)
case class MyEvent(id: Int, kind: String, value: String)
case class MyAggregatedEvent(id: Int, concatenatedValue: String)
val eventStream = env.fromElements(
MyEvent(1, "A", "1"), MyEvent(1, "C", "1"),
MyEvent(1, "A", "2"), MyEvent(1, "B", "1"), MyEvent(1, "C", "2"),
MyEvent(1, "A", "3"), MyEvent(1, "D", "2"), MyEvent(1, "C", "3"),
MyEvent(1, "B", "3")
)
val pattern: Pattern[MyEvent, _] = Pattern
.begin[MyEvent]("pA").where(e => e.kind == "A")
.next("pC").where(e => e.kind == "C")
.within(Time.seconds(5))
val patternNextStream: PatternStream[MyEvent] = CEP.pattern(eventStream.keyBy(_.id), pattern)
val outNextStream: DataStream[MyAggregatedEvent] = patternNextStream.flatSelect {
(pattern: scala.collection.mutable.Map[String, MyEvent], collector: Collector[MyAggregatedEvent]) =>
val partA = pattern.get("pA").get
val partC = pattern.get("pC").get
collector.collect(MyAggregatedEvent(partA.id, partA.value + "=>" + partC.value))
}
outNextStream.print()
env.execute("Experiment")
これにより、次の出力が得られます。
MyAggregatedEvent(1,1=>1)
パターンを次のように変更すると:
val pattern: Pattern[MyEvent, _] = Pattern
.begin[MyEvent]("pA").where(e => e.kind == "A")
.followedBy("pC").where(e => e.kind == "C")
.within(Time.seconds(5))
次に、以下が出力されます。
MyAggregatedEvent(1,1=>1)
MyAggregatedEvent(1,1=>2)
MyAggregatedEvent(1,2=>2)
MyAggregatedEvent(1,1=>3)
MyAggregatedEvent(1,2=>3)
MyAggregatedEvent(1,3 ) =>3)
出力が次のようになるように、各イベントに 1 回だけ一致するパターンを作成するにはどうすればよいですか。
MyAggregatedEvent(1,1=>1)
MyAggregatedEvent(1,2=>2)
MyAggregatedEvent(1,3=>3)