Airflow subDAG セクションを調べて、他に役立つ情報をオンラインで見つけようとしましたが、subDAG を機能させる方法を詳細に説明しているものは見つかりませんでした。subDAG を実行するための要件の 1 つは、それを有効にすることです。サブダグを有効/無効にするにはどうすればよいですか?
Airflow でエラーを表示しないサンプル コードをいくつか書きましたが、実行しようとすると、subDAG のどのオペレーターも実行されません。
これは私の主なダグコードです:
import os
from airflow import DAG
from airflow.operators import BashOperator
from datetime import datetime, timedelta
from airflow.operators.subdag_operator import SubDagOperator
from linecount_subdag import sub_dag
parent_dag_name = 'example_linecount_dag'
child_dag_name = 'example_linecount_subdag'
args = {
'owner': 'airflow',
'start_date': datetime(2016, 04, 20),
'retries': 0,
}
main_dag = DAG(
dag_id=parent_dag_name,
default_args=args,
schedule_interval=timedelta(minutes=5),
start_date=datetime(2016, 04, 20),
max_active_runs=1
)
subdag = SubDagOperator(
subdag=sub_dag(parent_dag_name, child_dag_name, args, main_dag.schedule_interval),
task_id=child_dag_name,
default_args=args,
dag=main_dag)
t = BashOperator(
task_id='start',
bash_command='echo "waiting for subdag..."',
default_args=args,
dag=main_dag)
t.set_downstream(subdag)
このコードでは、タスク「開始」は成功しますが、サブダグ タスクは何もせず、失敗も成功もしません。
これが私のsubDAGコードです:
from airflow.models import DAG
from airflow.operators import BashOperator
# Dag is returned by a factory method
def sub_dag(parent_dag_name, child_dag_name, args, schedule_interval):
dag = DAG(
'%s.%s' % (parent_dag_name, child_dag_name),
default_args=args,
start_date=args['start_date'],
max_active_runs=1,
)
t1 = BashOperator(
task_id='count_lines',
bash_command='cat /root/airflow/airflow.cfg | wc -l',
default_args=args,
xcom_push=True,
dag=dag)
t2 = BashOperator(
task_id='retrieve_val',
bash_command='grep "airflow_home" /root/airflow/airflow.cfg',
default_args=args,
xcom_push=True,
dag=dag)
templated_command = """
{
echo "{{ ti.xcom_pull(task_ids='count_lines') }}"
echo "{{ ti.xcom_pull(task_ids='retrieve_val') }}"
}"""
t3 = BashOperator(
task_id='print_values',
bash_command=templated_command,
default_args=args,
dag=dag)
t3.set_upstream(t1)
t3.set_upstream(t2)
return dag
このコードの 3 つの演算子は、ファイル "airflow.cfg" の行数を取得し、そのファイル内の "airflow_home" の値を見つけて、出力するこれらの値の両方を返します。このコードは単独で動作するので、問題はないと思います。
subDAG でオペレーターを実行するには、何を変更する必要がありますか?