2

たとえば、Mongo DBに100万のレコードがあり、各レコードのサイズが5KBであるとします。このデータに対してMap-Reduceを実行し、このアプリケーションに必要なRAMを見積もりたいとしましょう。map-reduce操作中は、このDBで読み取りまたは書き込みは行われません。map-reduceは、一部のレコードを集約し、集約されたレコードの論理比較を行います。

map-reduceがどのようにデータをRAMに取り込むのか、したがってワーキングセットをどのように計算するのかを理解したいと思います（例：1 MM x 5 Kbがワーキングセットになると仮定する必要があります）。

4

1 に答える 1

1

私が理解しているように、Map-Reduceジョブのワーキングセットは、map（）関数を実行するデータのセット全体になります。たとえば、データが1Mオブジェクトで、map（）関数がすべてのドキュメントを参照する場合、ワーキングセットは1Mx5Kになります。map（）関数にデータのサブセット（たとえば500Kオブジェクト）をフィードする場合、500Kx5Kになります。いずれの場合も、事前定義されたインデックスのサイズも含める必要があります。

于 2012-06-07T15:19:29.163 に答える