celery - 時間制限とトリガーを使用した Apache Airflow のスケジューリング

Question

セロリエグゼキューターでエアフローを使用しています。現在、DAG で BranchOperator を使用してブランチの選択を決定するタスクのユーザー操作を開発することを計画しています。データベースの値をチェックするために連続ループを実行することで機能します。しかし、それは良い方法ではないと感じています。これを行う代替手段はありますか？

そして、私はこの相互作用を特定の時間まで待ちたいのですが、そうでなければ止めたいと思います. 気流でこれを行うことは可能ですか？可能であれば、この時間を動的に変更する可能性はありますか?

前もって感謝します。

Answer 1

これには BranchOperator を使用しないでください。データベース内の値に基づいて DAG を続行する場合は、センサーを使用する必要があります。気流には既製のセンサーがいくつかあり、それらのいくつかを調べて独自のセンサーを作成することもできます. センサーは基本的に特定の基準をポーリングし、構成可能な期間が経過するとタイムアウトします。あなたの質問から、これはまさにあなたが必要としているもののようです。