0

アップストリーム/従属テーブルからのデータの可用性に基づいて、要件が開始されます

データの可用性を条件チェックしながら (n 回の反復に対するビッグ クエリのテーブルで)、データが使用可能かどうかを確認します。データが利用可能な場合は、サブタグ/タスクを開始し、そうでない場合はループを続行します。

BigQueryOperator または「BigQueryValueCheckOperator」を使用して、次のような大きなクエリを実行する方法の明確な例を見るのは素晴らしいことです

{Code} SELECT 1 FROM WHERE datetime BETWEEN TIMESTAMP(CURRENT_DATE()) AND TIMESTAMP(DATE_ADD(CURRENT_DATE(),1,'day')) LIMIT 1 {Code}

クエリ出力が 1 の場合 (つまり、今日の負荷に使用できるデータを意味します)、添付の図のリンクに示すように、ループを開始します。

Airflow dag でそのようなデザインを設定した人はいますか。

4

1 に答える 1