74

バックフィルが意味をなさない気流 DAG があるとします。つまり、一度実行すると、その後すぐに実行してもまったく意味がありません。

たとえば、1 時間ごとにしか更新されないソースからデータベースにデータをロードしている場合、立て続けに発生するバックフィルは、同じデータを何度もインポートすることになります。

これは、新しい時間単位のタスクをインスタンス化する場合に特に厄介であり、N指定した間隔で実行を開始する前に、逃した時間ごとに何度も実行され、冗長な作業が行われます。

私が考えることができる唯一の解決策は、ドキュメントのFAQで具体的にアドバイスされているものです

datetime.now()特に混乱を招く可能性があるため、start_date として動的な値を使用しないことをお勧めします。

DAG のバックフィルを無効にする方法はありますか?

4

3 に答える 3