1

ノードで Mongoskin を使用して一括挿入 (MongoDB 2.6+) を実行するのに問題があります。

var dbURI = urigoeshere;
var db = mongo.db(dbURI, {safe:true});
var bulk = db.collection('collection').initializeUnorderedBulkOp();

for (var i = 0; i < 200000; i++) {
    bulk.insert({number: i}, function() {
        console.log('bulk inserting: ', i);
    });
}

bulk.execute(function(err, result) {
    res.json('send response statement');
});

上記のコードでは、次の警告/エラーが発生します。

(node) warning: possible EventEmitter memory leak detected. 51 listeners added. Use emitter.setMaxListeners() to increase limit.
TypeError: Object #<SkinClass> has no method 'execute'
(node) warning: possible EventEmitter memory leak detected. 51 listeners added. Use emitter.setMaxListeners() to increase limit.
TypeError: Object #<SkinClass> has no method 'execute'

Mongoskin を使用して順序付けされていない一括操作を実行することは可能ですか? もしそうなら、私は何を間違っていますか？

4

1 に答える 1

2

それを行うことはできますが、「コールバック」フォームのみが実際に.initializeUnorderedBulkOp()メソッドを呼び出すことができるコレクションオブジェクトを返すため、これを行うには呼び出し規約を変更する必要があります。これがどのように機能するかについて、いくつかの使用方法の違いもあります。

var dbURI = urigoeshere;
var db = mongo.db(dbURI, {safe:true});
db.collection('collection',function(err,collection) {
    var bulk = collection.initializeUnorderedBulkOp();
    count = 0;

    for (var i = 0; i < 200000; i++) {
        bulk.insert({number: i});
        count++;

        if ( count % 1000 == 0 )
            bulk.execute(function(err,result) {
               // maybe do something with results
               bulk = collection.initializeUnorderedBulkOp(); // reset after execute
            });      

    });

    // If your loop was not a round divisor of 1000
    if ( count % 1000 != 0 )
        bulk.execute(function(err,result) {
          // maybe do something here
        });
});

したがって、実際の「バルク」メソッド自体はコールバックを必要とせず、ドキュメントに示されているとおりに機能します。例外は.execute()、実際にステートメントをサーバーに送信するものです。

ドライバーがこれをある程度整理してくれますが、execute を呼び出す前にあまりにも多くの操作をキューに入れることは、おそらく良い考えではありません。これは基本的にメモリ内に蓄積され、ドライバーは一度に 1000 個のバッチしか送信しませんが (これはサーバーの制限であり、完全なバッチが 16MB 未満であることに加えて)、少なくともここでもう少し制御する必要があります。メモリ使用量を制限します。

これがモジュロ テストのポイントですが、操作を構築するためのメモリと、場合によっては非常に大きな応答オブジェクトが問題にならない場合は、操作をキューに入れ続けて.execute()1 回呼び出すことができます。

「応答」は、 BulkWriteResultのドキュメントに記載されているものと同じ形式です。

于 2014-09-03T05:35:28.427 に答える