問題タブ [airflow]

私は気流を評価してきました.1時間ごとにデータの集計を取得するために1時間ごとに実行されるワークフローがあるこのユースケースがあります. もう 1 つは毎日実行され、同じものを毎日集計します。1 時間ごとの集計がすべて過去 1 日に成功した場合にのみ、1 日ごとの集計が実行される複合ワークフローを作成することはできますか? サブ DAG を作成できることを確認しましたが、2 つの DAG を異なる頻度で実行できますか? はいの場合、どのように？

エアフローを使用してワークフロー DAG を実行しています。私が設定した開始日は2014年5月26日で、schedule_intervalは終了日のない1日で、Celery Executorを使用しています。気流は、指定された日付からタスクの実行を開始し、期待どおりに開始日から毎日増分します。

しかし、問題は、開始日から 16 日間だけ日付をスケジュールして実行し、その後停止することです。次の一連の DAG をスケジュールして実行するには、スケジューラ サービスを再起動する必要があります。

以下のプロパティを変更して、airflow.cfg でより高い値に設定しましたが、それでも機能しません。

私の要件は、気流に開始日から現在の日付までタスクを実行させることです。実行できるダグの数に制限があるように見えますが、それを理解することはできません。提案してください。

気流のバージョンは 1.7.1.2 です

毎日実行するようにスケジュールされている 3 つの bash タスクを持つ DAG があります。

すべての bash スクリプトで、dag インスタンスの一意の ID (PID の可能性があります) にアクセスしたいと考えています。

これを行う方法はありますか？

ワークフロー xml または Java コードで WORKFLOW_ID にアクセスできる Oozie と同様の機能を探しています。

「AirFlow DAGでビルド内およびカスタム変数を使用する方法」に関するAirFlowのドキュメントを誰かに教えてもらえますか

どうもありがとうパリ

Airflow subDAG セクションを調べて、他に役立つ情報をオンラインで見つけようとしましたが、subDAG を機能させる方法を詳細に説明しているものは見つかりませんでした。subDAG を実行するための要件の 1 つは、それを有効にすることです。サブダグを有効/無効にするにはどうすればよいですか?

Airflow でエラーを表示しないサンプル コードをいくつか書きましたが、実行しようとすると、subDAG のどのオペレーターも実行されません。

これは私の主なダグコードです:

このコードでは、タスク「開始」は成功しますが、サブダグ タスクは何もせず、失敗も成功もしません。

これが私のsubDAGコードです：

このコードの 3 つの演算子は、ファイル "airflow.cfg" の行数を取得し、そのファイル内の "airflow_home" の値を見つけて、出力するこれらの値の両方を返します。このコードは単独で動作するので、問題はないと思います。

subDAG でオペレーターを実行するには、何を変更する必要がありますか?

気流を開いて接続を確認したところ、その背後で実行されている接続が多すぎることがわかりました. 私が使用していないものを殺す方法についてのアイデア、またはそれを実行するための最小の conn_id を知りたいです。

建築

• LocalExecutor (他のブローカーのようなものはありません)
• メタデータベースとしての Postgre

ただし、17 の接続がリストされています。

ここに接続リストがあります。

これはairflow.cfgです。

気流の「所有者」がわかりません。ower のコメントは、「タスクの所有者です。unix ユーザー名を使用することをお勧めします」です。次のコードをいくつか書きました。

}

しかし、コマンド「airflow test dagid taskid 2016-07-20」を使用すると、エラーが発生しました... {bash_operator.py:77} INFO - put: Permission denied: user=airflow, ....

私のジョブは「max」ユーザーで実行されたと思っていましたが、明らかに、「airflow」ユーザーを使用してテストを実行しました。

「最大」ユーザーを使用してタスクを実行する場合、どうすればよいですか。

私のタスクコードは次のとおりです。

次に、Linux の「airflow」ユーザーでコマンド「airflow test test3 test3-task2 2016-07-25」を実行します。「whoami」を出力した結果が「気流」です。ただし、出力結果がタスクの「所有者」であることを願っています。

私の間違いは何ですか？

ありがとう

以下が出力結果です。

[2016-07-25 11:22:37,716] {bash_operator.py:64} 情報 - 一時的なスクリプトの場所:/tmp/airflowtmpoYNJE8//tmp/airflowtmpoYNJE8/test3-task2U1lpom

[2016-07-25 11:22:37,716] {bash_operator.py:65} INFO - 実行中のコマンド: whoami

[2016-07-25 11:22:37,722] {bash_operator.py:73} INFO - 出力:

[2016-07-25 11:22:37,725] {bash_operator.py:77} 情報 -気流

[2016-07-25 11:22:37,725] {bash_operator.py:80} 情報 - コマンドはリターン コード 0 で終了しました