問題タブ [airflow-scheduler]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - 気流: PostgreOperator から xcom 値をプッシュする方法は?
Airflow 1.8.1 を使用しており、PostgreOperator からの SQL リクエストの結果をプッシュしたいと考えています。
私のタスクは次のとおりです。
ここに私のSQLスクリプトがあります：
そこからxcom値をチェックすると、値がcheck_task取得されnoneます。
python - Airflow を使用して 1 台のマシンでリソースを効率的に管理する方法
3.1 GHz Intel Core i7 プロセッサと 16 GB または RAM を搭載した 2015 年初頭の MacBook Pro で +400 タスクの Airflow プロセスを実行しています。
私が実行しているスクリプトはこのように見えますが、DAG が次のように定義されている点が異なります。
あまりにも多くのタスクを並行して起動しないようにします。以下は、これを行った私の経験の一連のスクリーンショットです。ここでの私の質問は次のとおりです。
- この操作により、膨大な数の Python プロセスが生成されます。この方法で RAM 内のタスク キュー全体を定義する必要がありますか、それとも非常に多くのプロセスの起動を回避する「進行中にタスクを生成する」アプローチを取ることができるでしょうか。
max_active_runs特定の時点で実際に作業を行っているプロセスの数を制御すると思います。ただし、自分のタスクを確認すると、CPU リソースを占有しているタスクが数十個あり、残りはアイドル状態になっています。これは本当に非効率的です。どうすればこの動作を制御できますか?
いくつかのスクリーンショットを次に示します。
物事は十分に良いスタートを切りました。予想よりも多くのプロセスが並行して実行されています。
すべてが行き詰まり、多くのアイドル プロセスがあります。物事は停止するように見えます:
ターミナルは大量のエラーメッセージを吐き出し始め、多くのプロセス障害があります:
プロセスは基本的に、終了するまでこれらのフェーズを循環します。最終的なタスクの内訳は次のようになります。
何かご意見は？
airflow - Apache Airflow マルチテナント
マルチテナント環境で Airflow がどのように機能するかを調べようとしています。具体的には、要件は次のようになります。
- TeamA と TeamB の 2 つのチームが、1 つの Airflow インスタンスを使用しています。
- チームの A と B はそれぞれ独自のサービス ユーザー アカウント (serviceUserA と ServiceUserB) を持っており、このアカウントでジョブを実行する必要があります。
- セキュリティ上の理由から、チーム A は ServiceUserB の下で実行されるジョブを作成できません (その逆も同様です)。
現時点では、各チームに個別の Airflow インスタンスを提供する以外に、要件 3. を Airflow で満たすことができるかどうかはわかりません。これを達成する方法はありますか？