問題タブ [airflow]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - Airflow webserver -p 8080 で属性エラーが発生する
私は macOS 開発ボックスを使用しており、エアフローをインストールしていますが、残念ながら実行airflow webserver -p 8080
すると「AttributeError」が発生します。
pip freeze
私のバージョンはairflow==1.7.1.2
私のパイソンはPython 3.5.1 |Anaconda 4.0.0 (x86_64)| (default, Dec 7 2015, 11:24:55)
イベントのシーケンスは次のとおりです。
- アナコンダ環境を作りました
- 気流を含むいくつかのパッケージをインストールしました
pip install --upgrade git+https://github.com/airbnb/airflow.git
AIRFLOW_HOME
私の変数を設定します.bash_profile
airflow initdb
うまくいった
/li>airflow webserver -p 8080
以下を与える
python - Jinja テンプレートと SQL で Airflow の PostgresOperator を使用する場合の TemplateNotFound
PostgresOperator で (Jinja2 を介して) Airflow のテンプレート機能を使用しようとしたときに、レンダリングするものを取得できませんでした。私が何か間違ったことをしている可能性は十分にありますが、問題が何であるかについてはかなり迷っています。これは、私が取得している TemplateNotFound エラーを再現する例です。
気流.cfg
関連する DAG と変数
/example_csv_to_redshift/csv_to_redshift.py
/example_csv_to_redshift/copy_to_redshift.sql
を呼び出すairflow render example_csv_to_redshift load_table 2016-06-14
と、以下の例外がスローされます。別の DAG でもこの問題が発生していることに注意してください。そのため、example_redshift_query_to_csv
言及されているパスが表示されます。
修正に向けたアイデアは大歓迎です。
python - Installing Airflow on Windows
I want to install an airflow worker on a windows machine.
I've pip installed it and then copied the airflow folder from a linux install however this has sent me down a rabbit hole of errors! Cygwin was briefly mentioned in the airflow google groups (see here) however I am not sure about the robustness of installing everything and keeping it running an emulator?
How to setup an airflow worker in widows: can it be natively installed or should a *nix emulator be used instead?
apache-spark - Spark 送信エラーはメモリを割り当てられませんでしたが、コード 0 を終了しました
Spark を使用して ETL を実行すると、「メモリを割り当てることができませんでした」というエラーが時々表示されます。
ここでの問題は、失敗した場合でも終了コード 0 を返すことです。
私は Airflow BashOperator を使用しており、bash 終了コードを成功パラメーターとして使用しています。上記のエラーでジョブが誤って成功します。
エラーログは以下のようになります。
私の質問は、送信プロセス自体が失敗したときに終了コードが 0 になるのはなぜですか? それを正しくする方法は?
ありがとう!
airflow - Airflow - チャート クエリの失敗
Airflow を初めて使用し、DAG のグラフを作成しようとしていますが、次のエラーが引き続き発生します。
私のクエリは次のようになります。
python - Airflow で DAG 間の依存関係を設定する方法は?
Airflowを使用してバッチ ジョブをスケジュールしています。毎晩実行する 1 つの DAG (A) と、1 か月に 1 回実行する別の DAG (B) があります。B は、A が正常に完了したことに依存します。ただし、B は実行に時間がかかるため、別の DAG に保持して、より適切な SLA レポートを作成できるようにしたいと考えています。
同じ日に DAG A の正常な実行に依存して DAG B を実行するにはどうすればよいですか?
random - ランダムな時間で DAG を開始する方法
気流スケジューラによってトリガーされ、毎日真夜中を過ぎた 1 分で実行される DAG があります。毎日開始時間を動的に変更したい、ある日は午前 1:00 に開始し、翌日は 00:16 に開始するなどです。これを行うためのエアフローの設定はありますか? そうでない場合、どうすればよいですか?
python - 気流はオペレーターを実行した後に結果を取得します
気流を構成し、いくつかのオペレーターを呼び出すいくつかの Dag と subDag を作成しました。
私の問題は、オペレーターがジョブを実行して終了したときに、結果を何らかの Python 構造で受け取りたいということです。例えば:
File1.py
File2.py
関数subdag_callHiveは、メインの Dag が定義され、必要な他のすべてのパラメーターが定義されている別の Python スクリプトから呼び出されます。
この場合、4 つの値になる HiveOperator (*select * from public.mytable limit 4;*) から結果を取得できるようにしたいだけです。
返された dag_subdag はオブジェクト< class 'airflow.models.DAG' >であり、呼び出しに渡されたすべての属性/データが含まれていますが、HiveOperator が行ったことに関する情報は含まれていません。
これは可能ですか?もしそうなら、どうすればそれを達成できますか。
ubuntu - Airflow upstart スクリプトは、開始/実行状態の直後に停止/待機状態になります
Airflow の公式リポジトリからこのアップスタート スクリプトを実行しようとしています: https://github.com/apache/incubator-airflow/blob/master/scripts/upstart/airflow-webserver.conf
私がそれを実行すると、これは出力です:
しかし、これを実行するだけexec /usr/local/bin/airflow webserver
で問題なく完全に実行され、不可解です。なぜこれが起こっているのか誰にも分かりますか?
pip install airflow
*自分で確認する必要がある場合に備えて、空気の流れをテストできます。