私の DataFlow パイプラインは で始まり、BatchBlockいくつかのタスクがアイテムを this に投稿していBatchBlockます。これで、メソッドBatchBlockの助けを借りて、Timer に応じて次のブロックにデータが伝播されます。TriggerBatch()
この場合、作成時に提供された (非常に大きな) バッチ サイズのバッチはないと想定BatchBlockできます。つまり、トリガーされた各バッチのサイズが異なる可能性があります。
をトリガーする直前にBatchBlock、パイプラインの次のブロックに伝播しようとしているバッチに存在するすべての重複アイテムを削除したいと思います。それを行う方法はありますか?