問題タブ [google-cloud-composer]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
airflow - 別のプロジェクトからバケットにアクセスしますか?
VM に、別のプロジェクトのバケットにデータを書き込むスクリプトがあります。
このスクリプトを Airflow でスケジュールしたいのですが、スクリプトがデータを書き込む必要があるときに IAM アクセスの問題があります。
AccessDeniedException: 403 148758369895-compute@developer.gserviceaccount.com には、******** への storage.objects.list アクセス権がありません
スクリプトを起動するには、次のコマンドを使用します。
Google Cloud Shell でスクリプトを起動したい場合、gcloud auth loginを使用する必要がありますが、Airflow /Composer でこれを行うにはどうすればよいですか??
私は試した
成功せずに
google-cloud-composer - 「この DAG はローカルにのみ存在するようです。マスター スケジューラはその存在を認識していないようです。」
いくつかの DAG をデプロイする Google Cloud Composer の実験を開始します。
This DAG seems to be existing only locally. The master scheduler doesn't seem to be aware of its existence.手動でも実行できないことを示す情報ステートメントを持つ DAG の 1 つ。手動で開始すると、「実行中」の状態が永遠に続き、最初のタスクの実行が開始されません。
以下で詳しく説明するように、2 つの DAG の唯一の違いは、破損した DAG がカスタム オペレータを使用していることです。
ここで何が問題なのか、どうすれば修正できるのか分かりますか?
ありがとう
hello2_gcp_plugins_v2は唯一の bash を呼び出しており、メール オペレーターは期待どおりに動作しています (メールを受け取りました)。scheduler_interval を構成すると、期待どおりに開始されます。スケジューラの間隔をNoneに設定しても、手動で開始するとうまく機能していますhello2_gcp_plugins_v5予想されるバケットに既に展開しているカスタム オペレーターを呼び出しています。カスタム オペレータは、HttpHook を介して API を呼び出してデータを取得し、GoogleCloudStorageHook を介して gcs バケットにアップロードするだけです。スケジューラの間隔が設定されていても、None のままであっても、常に UI に info ステートメントが表示され、DAG が自動的に開始されることはありません。手動で開始すると、永久に実行状態のままになり、最初のタスクがトリガーされることはありません。
google-cloud-platform - ノード構成を調整すると sqlproxy とスケジューラが壊れる
今日、Cloud Composer 環境をサポートするクラスタのノード タイプを変更し、COS ではなく Ubuntu イメージに切り替えようとしました。GKE クラスタに 2 つ目のノード プールを追加し、最初のノード プールを削除して、すべてのワークロードを移行しました。 .
これにより、airflow-sqlproxy ログに次のエラーが生成されます。
スケジューラが完全に開始されず、次のスタック トレースが出力されます。
バッキング SQL データベースへの接続が切断されたようです。同じクラスタですが、ノードが異なります。更新する必要がある追加の構成はありますか?