Spark Streaming の DStream 内の各マイクロバッチの最後に何らかのアクションを実行する可能性はありますか? 私の目的は、Spark によって処理されるイベントの数を計算することです。Spark Streaming ではいくつかの数値が得られますが、平均値も合計がゼロのようです (一部のマイクロバッチが空であるため)。
たとえば、いくつかの統計データを収集してサーバーに送信したいのですが、データを収集するオブジェクトは特定のバッチ中にのみ存在し、次のバッチのために最初から初期化されます。バッチが完了してオブジェクトがなくなる前に、「finish」メソッドを呼び出せるようにしたいと考えています。そうしないと、サーバーに送信されていないデータが失われます。