google-app-engine - gzip 圧縮された CSV ファイルからデータストアにデータをアップロードしますか?

Question

バルク ロード ツールを使用してデータストアにインポートする必要がある非常に大きな gzip csv ファイル (約 500 GB) があります。最初に解凍しなくても可能ですか？はいの場合、bulkload.yaml ファイルをどのように構成する必要がありますか?

transformers:

- kind: Client
    connector: csv
    connector_options:
      encoding: zip?

Answer 1

名前付きパイプを使用するのはどうですか。

mkfifo --mode=0666 /tmp/namedPipe
gzip --stdout -d file.gz > /tmp/namedPipe

そして、別の端末で、または＆を使用してgzipコマンドをデタッチした場合

appcfg.py upload_data --config_file=bulkloader.yaml --filename=/tmp/namedPipe --kind=YOUR_DATA_KIND 

http://en.wikipedia.org/wiki/Named_pipeからの例