1

エアフロー経由で実行されるハイブ クエリ スクリプトにパラメーターを渡す方法を知りたいです。target_db = mydatabase など、このスクリプトにのみパラメータを追加したい場合、どうすればよいですか? それを default_args に追加してから呼び出してから、スクリプトの op_kwargs で呼び出す必要がありますか?

default_args = {
    'owner': 'airflow',
    'depends_on_past': True,
    'start_date': datetime(2017, 11, 1),
    'email_on_failure': True,
    'email_on_retry': False,
    'retries': 2,
    'retry_delay': timedelta(minutes=5),
}

dag = DAG(dag_name, default_args=default_args, schedule_interval="@daily")

t_add_step = PythonOperator(
    task_id='add__step',
    provide_context=True,
    python_callable=add_emr_step,
    op_kwargs={
        'aws_conn_id': dag_params['aws_conn_id'],
        'create_job_flow_task': 'create_emr_flow',
        'get_step_task': 'get_email_step'
    },
    dag=dag
)
4

1 に答える 1