私は、異なるウィンドウの長さで計算された 4 つの異なる出力を要求するユース ケースで Spark Streaming に取り組んでいます。
特に、 4 つの異なる時間ウィンドウ (ウィンドウは互いに独立しています) に基づいて毎秒計算結果を出力するプログラムが必要です。
これまでのところ、呼び出して60秒の単一ウィンドウに実装しました
.reduceByKeyAndWindow(comingTs, leavingTs, Durations.seconds(60), Durations.seconds(1))
.cache();
JavaPairDStream<K, V>オブジェクト (バッチは 1 秒の長さと想定されています) 。その後、それらのタプルの計算が行われます。
さて、その同じ秒の間に、互いに独立して、300 秒と 600 秒の長さのウィンドウの結果を出力する必要があります。
私の質問は、Spark ストリーミングでも親しみやすいですか? 私はそれに比較的慣れていないので、言えませんでした。はいの場合、誰かがその方法を教えてもらえますか?