3

App Engine バルクローダーを使用して、データストアからエンティティをダウンロードしようとしています (重要な場合は高レプリケーションのもの)。動作しますが、かなり遅いです (85KB/s)。高速化するために渡すことができる魔法のパラメータセットはありますか? 私は約 5MB/分または 20,000 レコード/分を受信して​​います。私の接続が 1MB/秒で処理できることを考えると (App Engine がそれよりも高速に処理できることを願っています)、それを高速化する方法が必要です。

これが私の現在のコマンドです。高い数値、低い数値、およびすべての順列を試しました。

appcfg.py download_data 
--application=xxx 
--url=http://xxx.appspot.com/_ah/remote_api 
--filename=backup.csv 
--rps_limit=30000 
--bandwidth_limit=100000000 
--batch_size=500 
--http_limit=32
--num_threads=30 
--config_file=bulkloader.yaml 
--kind=foo

このApp Engine Bulk Loader Performanceを既に試しました が、既に持っているものよりも高速ではありません。彼が言及している数は、私が見ているものと同等です.

前もって感謝します。

4

1 に答える 1

3

ダウンロードしようとしているエンティティのキ​​ーにインデックスを設定しましたか?
それが役立つかどうかはわかりませんが、ダウンロードの開始時に「順次ダウンロードの使用」に関する警告が表示されるかどうかを確認してください

これを index.yaml に配置して、エンティティ キーのアップロードでインデックスを作成し、インデックスが構築されるのを待ちます。

- kind: YOUR_ENTITY_TYPE
  properties:
  - name: __key__
    direction: desc
于 2011-10-07T19:32:48.050 に答える