問題タブ [apache-airflow]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python-2.7 - Airflow: データの可用性について Big query 出力から応答を取得し、結果のキックオフ タスク/サブダグに基づいて応答を取得する方法
アップストリーム/従属テーブルからのデータの可用性に基づいて、要件が開始されます
データの可用性を条件チェックしながら (n 回の反復に対するビッグ クエリのテーブルで)、データが使用可能かどうかを確認します。データが利用可能な場合は、サブタグ/タスクを開始し、そうでない場合はループを続行します。
BigQueryOperator または「BigQueryValueCheckOperator」を使用して、次のような大きなクエリを実行する方法の明確な例を見るのは素晴らしいことです
{Code} SELECT 1 FROM WHERE datetime BETWEEN TIMESTAMP(CURRENT_DATE()) AND TIMESTAMP(DATE_ADD(CURRENT_DATE(),1,'day')) LIMIT 1 {Code}
クエリ出力が 1 の場合 (つまり、今日の負荷に使用できるデータを意味します)、添付の図のリンクに示すように、ループを開始します。
Airflow dag でそのようなデザインを設定した人はいますか。