1

mapreduce ライブラリの「レガシー」(非 PipelineAPI) バージョンを使用しています: http://code.google.com/p/appengine-mapreduce/

問題は、150,000 を超えるエンティティを持つ種類であっても、1 つのシャード処理しか取得できないことです。4、16、128 など、さまざまな shard_count 構成を試しましたが、常に 1 つのシャードのみがデータセット全体を処理するため、非常に低速です。

手順を逃したように感じます (たとえば、インデックスの作成など)。このレガシー ライブラリは他のアプリケーションでも正常に動作し、期待どおりに複数のシャードで実行されます。

誰かが手に負えない答えを知っていると指を交差させます。

ありがとう、j

4

1 に答える 1

2

それを見つけた!

この問題は Python で発生し、モデルのデフォルトの種類名をオーバーライドした場合にのみ発生します。

これに対するパッチを mapreduce イシュー トラッカーに置きました: http://code.google.com/p/appengine-mapreduce/issues/detail?id=154

于 2013-01-03T21:32:57.887 に答える