問題タブ [google-cloud-composer]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
airflow - Cloud composer パース json
シンプルな jsonファイルを data フォルダーにインポートしました。jsonでparamsをロード、解析、使用する最良の方法は何ですか?
python - Airflow - GoogleCloudStorageToBigQueryOperator がテンプレート化された source_objects をレンダリングしない
ドキュメントには、source_objects引数がテンプレート化された値を取ると記載されています。ただし、次のことを試すと：
次のエラー メッセージが表示されます。
Exception: BigQuery job failed. Final error was: {u'reason': u'notFound', u'message': u'Not found: URI gs://gdbm-public/entity/{ ds_nodash }.0.GeoLocation.json'}.
変数が同じように使用されている例を見つけました。{{ ds_nodash }}ですから、なぜこれがうまくいかないのかわかりません。
apache-spark - タイプセーフな設定 conf ファイルを DataProcSparkOperator に渡す
Google dataproc を使用して Spark ジョブを送信し、Google Cloud Composer を使用してそれらをスケジュールしています。残念ながら、私は困難に直面しています。
.confSpark ジョブに引数を渡すために、ファイル (タイプセーフな構成ファイル) に依存しています。
気流データプロシージャに次の python コードを使用しています。
しかし、これは機能しておらず、いくつかのエラーが発生しています。
誰でもこれで私を助けることができますか？基本的に、ファイルをオーバーライドして、引数として my に渡す
ことができるようにしたいと考えています。
私もやってみました.confDataProcSparkOperator
.confしかし、これは引数に記載されているファイルを考慮していませんでした。