問題タブ [google-cloud-composer]

私は Google Cloud Composer を初めて使用し、作成した DAG で奇妙な問題と思われる問題に遭遇しました。クラウド ストレージから tar.gz ファイルを取得し、それを .gz ファイルとして再圧縮してから、.gz ファイルを BigQuery にロードするプロセスがあります。昨日、作成された「シャード」から新しいテーブルへの挿入であるプロセスに新しいステップを追加しようとしました。

DAG 実行のステップの順序を変更するまで、これを機能させることができませんでした。私の DAG には、「delete_tar_gz_files_op」というステップがあります。これが「insert_daily_file_into_nli_table_op」の前に実行された場合、挿入は実行されませんでした (Composer では失敗せず、まったく実行されないように見えました)。コードに他の変更を加えずにこれら 2 つのステップの順序を入れ替えると、挿入は期待どおりに機能します。誰がこれを引き起こす可能性があるか知っていますか? これらの 2 つのステップはまったく関連していないため、なぜこれが起こるのかわかりません。1 つは、ある大きなクエリ テーブルから別のテーブルへの挿入クエリを実行します。もう 1 つは、クラウド ストレージにある tar.gz ファイルを削除します。

現在機能している私のdag実行順序：

使用されるコードの一部:

手動実行ステータス: 実行ステータス

Google Cloud Composer 環境で DAG から R スクリプトを実行したいと考えています。R を Composer にインストールして R スクリプトを実行する方法は?

クラウド コンポーザーでいくつかのタスクを同時に取得しようとしています。

次のエラーが発生します。

壊れた DAG: [/home/airflow/gcs/dags/scale_simple.py] Dependency 、create_training_instance は既に登録されています