1

Google ストレージへの書き込みを行う mapreduce ジョブの完了時に奇妙なエラーが発生しました。これを見た人はいますか?

ジョブ「158354152558......」の最終結果は「成功」です

....

File "/base/data/home/apps/s~app/bqmapper.360899047207944804/libs/mapreduc/handlers.py", line 539, in _finalize_job
mapreduce_spec.mapper.output_writer_class().finalize_job(mapreduce_state)
File "/base/data/home/apps/s~app/bqmapper.360899047207944804/libs/mapreduce/output_writers.py", line 571, in finalize_job
files.finalize(create_filename)
File "/base/data/home/apps/s~app/bqmapper.360899047207944804/libs/mapreduce/lib/files/file.py", line 568, in finalize
f.close(finalize=True)
File "/base/data/home/apps/s~app/bqmapper.360899047207944804/libs/mapreduce/lib/files/file.py", line 291, in close
self._make_rpc_call_with_retry('Close', request, response)
File "/base/data/home/apps/s~app/bqmapper.360899047207944804/libs/mapreduce/lib/files/file.py", line 427, in _make_rpc_call_with_retry
_make_call(method, request, response)
File "/base/data/home/apps/s~app/bqmapper.360899047207944804/libs/mapreduce/lib/files/file.py", line 252, in _make_call
_raise_app_error(e)
File "/base/data/home/apps/s~app/bqmapper.360899047207944804/libs/mapreduce/lib/files/file.py", line 186, in _raise_app_error
raise UnknownError()
UnknownError
4

1 に答える 1

0

それで遊んだ後、クラウドストレージで開いているファイルを1時間以内にファイナライズする必要があることがわかりました。そうしないと、この素敵なUnknownErrorで失敗します。

シャードの数を増やしてマッピングを高速化する問題を軽減し、output_sharding戦略をシャードごとに1つのファイルを作成する「入力」に変更しました。

于 2012-08-10T13:38:01.650 に答える