Airflowのセンサー - 特定の基準が満たされるまで実行し続ける特定のタイプのオペレーターですが、ワーカー スロットが完全に消費されます。人々がこれを実装するためのより効率的な方法を確実に使用できるかどうかは興味深い.
私の心にいくつかのアイデア
- プールを使用して、センサーに割り当てられるワーカー スロットの数を制限する
- 下流のすべてのタスクをスキップし、外部トリガーを介してクリアして再開する
- DAG の実行を一時停止し、外部トリガーを介して再開します
その他の関連リンク:
質問する
3611 次