2

新しいデータを処理して BigQuery テーブルに追加するために、ストレージ バケットに新しいファイルが追加されたときに Dataflow ジョブをトリガーしたいと考えています。Cloud Functionsはバケット内の変更によってトリガーできることがわかりましたが、 gcloud node.js ライブラリを使用して Dataflow ジョブを開始する方法が見つかりませんでした。

Cloud Functions を使用してこれを行う方法はありますか、または目的の結果を達成する別の方法 (ファイルが Storage バケットに追加されたときに BigQuery に新しいデータを挿入する) はありますか?

4

2 に答える 2

2

これは、2.2 以降の Apache Beam でサポートされています。Apache Beam でファイルパターンに一致する新しいファイルを監視するを参照してください。

于 2016-04-01T20:31:50.497 に答える
2

App Engine または Cloud Functions から Dataflow パイプラインをトリガーする方法について、この投稿が役立つかもしれません。

https://cloud.google.com/blog/big-data/2016/04/scheduling-dataflow-pipelines-using-app-engine-cron-service-or-cloud-functions

于 2016-04-16T18:41:07.623 に答える