私は理解できないような奇妙な問題に苦しんでいます。派手なことは何もしない基本的な DAG があります。bash 演算子を使用して Python スクリプトを開始するだけです。
この DAG を毎週月曜日に実行するようにスケジュールしています。Web サーバーで DAG をオンにすると、9 月 25 日までバックフィルが開始されます。ただし、10 月 2 日のバックフィルは行われません。スケジュールを毎週から毎日に変更すると、うまくいきます。
これが私の DAG セットアップです。
default_args = {
'owner': 'xxxxx',
'depends_on_past': False,
'email': ['xxxxxx'],
'start_date': datetime(2017, 9, 1, 0, 0),
'email_on_failure': False,
'email_on_retry': False,
'retries': 2,
'retry_delay': timedelta(minutes=10),
}
# Create DAG
dag = DAG(dag_id='IFS_weekly_forecast',
schedule_interval = '0 8 * * MON',
default_args=default_args)
この写真からわかるように、25日までは埋め戻しは順調です。その後、キューに入れられた新しいタスクはありません。
ここで何が間違っていますか？他の DAG は何週間も正常に動作しています。スケジューラと Web サーバーも再起動しましたが、これは役に立ちませんでした。
編集：
以下のトピックは、同じ問題をカバーしているようです。しかし、これは私の質問を変更します。その期間全体が終了するのを待つのではなく、特定の日付に毎週エアフローを実行するにはどうすればよいですか?