問題タブ [google-cloud-composer]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
google-cloud-platform - Hadoopy を Google Composer にインストールする
を使用してgoogle composerいます。
にhadoopyをインストールするにはどうすればよいですかgoogle composer environment。
このページには、Linux マシンに Hadoopyをインストールする手順が記載されています
Githubクローン
PIP インストール
これを Google Composer Environment にインストールする方法がわかりません
airflow - Google Cloud Composer DataflowJavaOperator: 別のプロジェクトでジョブを作成するときに 403 禁止
テスト コンポーザー環境で DataflowJavaOperator を使用しようとしていますが、403 forbiddenエラーが発生します。私の意図は、テスト コンポーザー環境を使用して、別のプロジェクトでDataflow Java ジョブを開始することです。
私のデフォルトのオプションは次のようになります
Dataflow と同じプロジェクトに一時的な Composer テスト環境を作成してみました。これにより、期待どおりに DataflowJavaOperator を使用できるようになりました。Composer 環境が Dataflow とは別のプロジェクトにある場合にのみ、DataflowJavaOperator が期待どおりに動作しません。
私の現在の回避策は、BashOperator を使用し、「env」を使用して GOOGLE_APPLICATION_CREDENTIALS を gcp_conn_id パスとして設定し、jar ファイルをテスト コンポーザ バケットに保存して、次の bash コマンドを実行することです。
DataflowJavaOperator を使用して、別のプロジェクトで Dataflow ジョブを開始することはできますか?