1

バッチ処理の代わりに Trigger.Once でストリーミングを使用することについて読んでいました ( https://databricks.com/blog/2017/05/22/running-streaming-jobs-day-10x-cost- Savings.html )。ソースとして Azure Event Hubs を使用しています。これには、トリガーごとに 10.000 アイテムの制限があり、数百万のイベントを処理する必要があります。これにより、10.000 アイテムのみが処理され、Trigger.Once を有効にするとストリームが停止します。ストリーミングと Trigger.Once のような機能でこれを行う方法について誰かアイデアがあり、ストリームが空になるか、設定された時間まで処理されると停止しますか?

4

1 に答える 1