4

2.502.011 要素のeventsコレクションがあり、すべての要素を更新したいと考えています。残念ながら、書き込みロックが原因で多くの mongodb 障害に直面しています。

質問: すべてのイベントが正しく更新されていることを確認するために、これらの障害を回避するにはどうすればよいですか?

私のイベント コレクションに関する情報は次のとおりです。

> db.events.stats()
{
    "count" : 2502011,
    "size" : 2097762368,
    "avgObjSize" : 838.4305136947839,
    "storageSize" : 3219062784,
    "numExtents" : 21,
    "nindexes" : 6,
    "lastExtentSize" : 840650752,
    "paddingFactor" : 1.0000000000874294,
    "systemFlags" : 0,
    "userFlags" : 0,
    "totalIndexSize" : 1265898256,
    "indexSizes" : {
        "_id_" : 120350720,
        "destructured_created_at_1" : 387804032,
        "destructured_updated_at_1" : 419657728,
        "data.assigned_author_id_1" : 76053152,
        "emiting_class_1_data.assigned_author_id_1_data.user_id_1_data.id_1_event_type_1" : 185071936,
        "created_at_1" : 76960688
    }
}

イベントは次のようになります。

> db.events.findOne()
{
  "_id" : ObjectId("4fd5d4586107d93b47000065"),
  "created_at" : ISODate("2012-06-11T11:19:52Z"),
  "data" : {
    "project_id" : ObjectId("4fc3d2abc7cd1e0003000061"),
    "document_ids" : [
      "4fc3d2b45903ef000300007d",
      "4fc3d2b45903ef000300007e"
    ],
    "file_type" : "excel",
    "id" : ObjectId("4fd5d4586107d93b47000064")
  },
  "emiting_class" : "DocumentExport",
  "event_type" : "created",
  "updated_at" : ISODate("2013-07-31T08:52:48Z")
}

created_at各イベントを更新して、既存のとに基づいて 2 つの新しいフィールドを追加したいと思いupdated_atます。間違っている場合は修正してくださいupdate。途中で current の要素データにアクセスする必要がある場合、mongo コマンドを使用できないようです。

これは私の更新ループです:

db.events.find().forEach(
  function (e) {
    created_at = new Date(e.created_at);
    updated_at = new Date(e.updated_at);

    e.destructured_created_at = [e.created_at]; // omitted the actual values
    e.destructured_updated_at = [e.updated_at]; // omitted the actual values
    db.events.save(e);
  }
)

上記のコマンドを実行すると、データベースの書き込みロックが原因で大量のページ フォールトが発生します。

モンゴスタット

4

1 に答える 1

6

ここで混乱していると思います。それは書き込みロックが原因ではなく、MongoDB が更新ドキュメントを照会しているためです。ページ フォールト中はロックは存在せず (実際には、ディスク上のドキュメントを実際に更新または保存するときにのみ存在します)、他の操作に取って代わられます。

ロックは、MongoDB のミューテックスに近いものです。

このサイズのデータ​​でページ フォールトが発生するのは完全に正常です。明らかにこのデータを頻繁にクエリしないため、何を期待しているのかわかりません。あなたの質問が何を意味するのか、私にははっきりとわかりません：

質問: すべてのイベントが正しく更新されていることを確認するために、これらの障害を回避するにはどうすればよいですか?

わかりました、あなたが見ているかもしれない問題は、そのマシンでページのスラッシングが発生し、IO 帯域幅が破壊され、不要なデータでワーキング セットがあふれていることです。このフィールドをすべてのドキュメントに熱心に追加する必要がありますか? そのデータが再び使用されるときに、アプリケーションによってオンデマンドで追加できませんか?

別のオプションは、これをバッチで行うことです。

ここで利用できる機能の 1 つは、そのような更新が現在の動作にあまり影響を与えないバックグラウンド タスクであることを示す優先キューですmongod。そのような機能が予定されていると聞きました (JIRA が見つかりません:/)。

間違っている場合は修正してください。途中で current の要素データにアクセスする必要がある場合、mongo update コマンドを使用できないようです。

あなたは正しいです。

于 2013-08-01T08:23:39.230 に答える