4

具体的に言うと、この質問は、指定されたクォータを引き上げる、または解除する方法に関するものであり、既存のクォータ制限内でより効率的になる方法に関するものではありません。

GAE で MapReduce ジョブを実行しているときに、以下に示すクォータ制限に達しました。制限は、1 日あたり 100 GB の「受信ファイル バイト」です。これは、私が知る限り、Blobstore から受信したファイル バイトです。予算を増やしても、この 100Gb/日のクォータ制限には影響しません。制限を完全に解除して、使用した分だけ支払うことができるようにしてほしい.

ログへの出力:

The API call file.Open() required more quota than is available.
Traceback (most recent call last):
  File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 1511, in __call__
    rv = self.handle_exception(request, response, e)
  File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 1505, in __call__
    rv = self.router.dispatch(request, response)
  File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 1253, in default_dispatcher
    return route.handler_adapter(request, response)
  File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 1077, in __call__
    return handler.dispatch()
  File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 547, in dispatch
    return self.handle_exception(e, self.app.debug)
  File "/base/python27_runtime/python27_lib/versions/third_party/webapp2-2.3/webapp2.py", line 545, in dispatch
    return method(*args, **kwargs)
  File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/base_handler.py", line 68, in post
    self.handle()
  File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/handlers.py", line 168, in handle
    for entity in input_reader:
  File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/mapreduce_pipeline.py", line 109, in __iter__
    for binary_record in super(_ReducerReader, self).__iter__():
  File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/input_readers.py", line 1615, in __iter__
    record = self._reader.read()
  File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/lib/files/records.py", line 335, in read
    (chunk, record_type) = self.__try_read_record()
  File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/lib/files/records.py", line 292, in __try_read_record
    header = self.__reader.read(HEADER_LENGTH)
  File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/lib/files/file.py", line 569, in read
    with open(self._filename, 'r') as f:
  File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/lib/files/file.py", line 436, in open
    exclusive_lock=exclusive_lock)
  File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/lib/files/file.py", line 269, in __init__
    self._open()
  File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/lib/files/file.py", line 393, in _open
    self._make_rpc_call_with_retry('Open', request, response)
  File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/lib/files/file.py", line 397, in _make_rpc_call_with_retry
    _make_call(method, request, response)
  File "/base/data/home/apps/s~utest-appgraph/69.358421800203055451/mapreduce/lib/files/file.py", line 243, in _make_call
    rpc.check_success()
  File "/base/python27_runtime/python27_lib/versions/1/google/appengine/api/apiproxy_stub_map.py", line 558, in check_success
    self.__rpc.CheckSuccess()
  File "/base/python27_runtime/python27_lib/versions/1/google/appengine/api/apiproxy_rpc.py", line 133, in CheckSuccess
    raise self.exception
OverQuotaError: The API call file.Open() required more quota than is available.
4

2 に答える 2

2

Googleに直接相談する必要があるようです。割り当てページには、割り当ての増加をリクエストするためのフォームへのリンクがあります：http ://support.google.com/code/bin/request.py?&contact_type=AppEngineCPURequest

于 2012-04-26T20:26:48.853 に答える
0

私もこのエラーに遭遇しました。appengine の「実験的バックアップ」機能を使用しています。これにより、map reduce が実行され、すべての appengine データが google-cloud-storage にバックアップされます。ただし、現在、バックアップは次のエラーで失敗します。

OverQuotaError: API 呼び出し file.Open() で、利用可能なよりも多くのクォータが必要でした。

クォータ ダッシュボードには次のように表示されます。

Other Quotas With Warnings
These quotas are only shown when they have warnings
File Bytes Sent 100%    107,374,182,400 of 107,374,182,400  Limited

そのため、ヒットした非表示のクォータ「送信済みファイル バイト数」があるようです。しかし、それはどこにも文書化されていません。

于 2014-09-02T12:26:37.543 に答える