3

Cloud DataFlow パイプラインをトリガーする Google App Engine があります。このパイプラインは、最終的な PCollection を Google BigQuery に書き込むことになっていますが、適切な apache_beam.io 依存関係をインストールする方法が見つかりません。

Apache Beam バージョン 2.2.0 をローカルで実行しています。

プロジェクト構造は、このブログ投稿のコードに従います。

これは関連するコードです:

"WriteToBigQuery" >> beam.io.WriteToBigQuery(
            ("%s:%s.%s" % (PROJECT, DATASET, TABLE)),
            schema=TABLE_SCHEMA,
            create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED,
            write_disposition=beam.io.BigQueryDisposition.WRITE_APPEND
        )

このコードをローカルで実行すると、beam.io.WriteToBigQuery()が正しく呼び出されます。apache_beam/io/gcp/bigquery.py仮想環境から取得されます。

libしかし、展開時にアプリに同梱されているフォルダーにこの依存関係をインストールできません。

要件として含まれている要件ファイルがありますが、apache-beam[gcp]==2.2.0実行すると、フォルダーにダウンロードされた に class が含まれず、Google App Engine でアプリを実行するとエラーが発生します。pip install -r requirements.txt -t libapache_beam/io/gcp/bigquery.pylibWriteToBigQuery'module' object has no attribute 'WriteToBigQuery'

どうすれば権利を得ることができるかについて誰かが考えを持っていますbigquery.pyか?

4

1 に答える 1