0

この質問のように設定されたタスクがあります。

UI に基づくと、依存関係が明確に定義されているように見えます。

ここに画像の説明を入力

個々のタスクを次のようにテストしましairflow test capone_dash_preproc AAAG5608078M2 2017-07-25た。これはうまく機能し、そのユーザーに対応するターゲット データベース エントリを更新します。ただし、完全なタスクを実行しようとすると、ハングアップしているように見えます。python3 dash_dag.py基本的に、Webサーバー上で次の端末出力が無限に繰り返されます。すべての CPU は静かなので、多くの計算が行われているようには見えません。

/usr/local/lib/python3.6/site-packages/flask/exthook.py:71: ExtDeprecationWarning: Importing flask.ext.cache is deprecated, use flask_cache instead.
  .format(x=modname), ExtDeprecationWarning
[2017-07-25 16:48:23,266] [58627] {models.py:167} INFO - Filling up the DagBag from /Users/aaronpolhamus/airflow/dags
[2017-07-25 16:48:25 -0500] [58487] [INFO] Handling signal: ttou
[2017-07-25 16:49:13 -0500] [58557] [INFO] Worker exiting (pid: 58557)
[2017-07-25 16:49:44 -0500] [58487] [INFO] Handling signal: ttin
[2017-07-25 16:49:44 -0500] [58642] [INFO] Booting worker with pid: 58642
/usr/local/lib/python3.6/site-packages/flask/exthook.py:71: ExtDeprecationWarning: Importing flask.ext.cache is deprecated, use flask_cache instead.
  .format(x=modname), ExtDeprecationWarning
[2017-07-25 16:49:44,607] [58642] {models.py:167} INFO - Filling up the DagBag from /Users/aaronpolhamus/airflow/dags
[2017-07-25 16:49:46 -0500] [58487] [INFO] Handling signal: ttou
[2017-07-25 16:50:21 -0500] [58568] [INFO] Worker exiting (pid: 58568)
[2017-07-25 16:50:51 -0500] [58487] [INFO] Handling signal: ttin
[2017-07-25 16:50:51 -0500] [58661] [INFO] Booting worker with pid: 58661
/usr/local/lib/python3.6/site-packages/flask/exthook.py:71: ExtDeprecationWarning: Importing flask.ext.cache is deprecated, use flask_cache instead.
  .format(x=modname), ExtDeprecationWarning
[2017-07-25 16:50:52,324] [58661] {models.py:167} INFO - Filling up the DagBag from /Users/aaronpolhamus/airflow/dags
[2017-07-25 16:50:54 -0500] [58487] [INFO] Handling signal: ttou
[2017-07-25 16:51:20 -0500] [58596] [INFO] Worker exiting (pid: 58596)
[2017-07-25 16:51:50 -0500] [58487] [INFO] Handling signal: ttin
[2017-07-25 16:51:50 -0500] [58677] [INFO] Booting worker with pid: 58677
...

私の混乱は、個々のテストが問題なく実行され、データベースに入力されるという事実から生じます。ハングして失敗するのは実行全体です。ここで明らかなことはありますか？

4

1 に答える 1

1

気流は複数のコンポーネントに存在します。最も重要なのは、スケジューラ、Web サーバー、およびワーカー (水平方向のスケーリングの場合) です。Airflow にタスクを実行させるには、スケジューラを常に*実行する必要があります。Web サーバーは、スケジューラーが実行していることに加えて、Rest API に優れた UI を提供するためだけに存在します。すべてのコンポーネントはバッキング データベースを使用します。

スケジューラの出力が表示されることを期待していましたが、Web サーバーの出力を表示しています。投稿したスクリーンショットと、DAG を実行しようとする方法から、DAG を開始していないと推測されます。

したがって、コマンド ラインで発行airflow schedulerしてスケジューラを開始すると、おそらく DAG が開始されます。

*バックフィルは例外です

于 2017-07-26T06:04:37.200 に答える