エアフロー経由で実行されるハイブ クエリ スクリプトにパラメーターを渡す方法を知りたいです。target_db = mydatabase など、このスクリプトにのみパラメータを追加したい場合、どうすればよいですか? それを default_args に追加してから呼び出してから、スクリプトの op_kwargs で呼び出す必要がありますか?
default_args = {
'owner': 'airflow',
'depends_on_past': True,
'start_date': datetime(2017, 11, 1),
'email_on_failure': True,
'email_on_retry': False,
'retries': 2,
'retry_delay': timedelta(minutes=5),
}
dag = DAG(dag_name, default_args=default_args, schedule_interval="@daily")
t_add_step = PythonOperator(
task_id='add__step',
provide_context=True,
python_callable=add_emr_step,
op_kwargs={
'aws_conn_id': dag_params['aws_conn_id'],
'create_job_flow_task': 'create_emr_flow',
'get_step_task': 'get_email_step'
},
dag=dag
)