2

エアフローがコードで提供するフック (スノーフレーク フック、AWS フックなど) を、Python スクリプトを実行する kubernetes オペレーターにインポートすることは可能ですか? エアフローの操作方法について間違った考えを持っている可能性があります。

例。kubernetes クラスターで Airflow を実行しています。dag のタスクはコンテナー内にあります。1 つのタスクは、SQL からいくつかのデータを取得し、S3 にアップロードします。コンテナ内の python スクリプトでこれを実行したい場合、気流がコード内に持っているライブラリ (フック) を再利用できる場合は、このすべてのものをコーディングする必要があります (エラーの可能性があり、時間がかかります)。また、時間を節約できます。多くの開発者をサポートしています。

ありがとうございました

4

0 に答える 0