問題タブ [apache-airflow]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - 気流のデフォルト on_failure_callback
私の DAG ファイルでは、失敗した場合に Slack をポストする on_failure_callback() 関数を定義しました。
DAG の各オペレーターに対して次のように指定すると、うまく機能します: on_failure_callback=on_failure_callback()
すべてのオペレーターへのディスパッチを自動化する方法はありますか (たとえば、default_args または DAG オブジェクトを介して)。
python - まだすべてのタスクを Airflow と並行して実行できない
この質問のように設定されたタスクがあります。
UI に基づくと、依存関係が明確に定義されているように見えます。
個々のタスクを次のようにテストしましairflow test capone_dash_preproc AAAG5608078M2 2017-07-25た。これはうまく機能し、そのユーザーに対応するターゲット データベース エントリを更新します。ただし、完全なタスクを実行しようとすると、ハングアップしているように見えます。python3 dash_dag.py基本的に、Webサーバー上で次の端末出力が無限に繰り返されます。すべての CPU は静かなので、多くの計算が行われているようには見えません。
私の混乱は、個々のテストが問題なく実行され、データベースに入力されるという事実から生じます。ハングして失敗するのは実行全体です。ここで明らかなことはありますか？