3

XML ファイルをロードする node.js スクリプトがあります。Mongo 配列の各要素をループし、それらがすべて正しく挿入されていることを示しますが、スクリプトがチェックを完了すると、db.collection.count();データベースに挿入されたレコードが予想よりもはるかに少ないことがわかります。

mongo と node.js を挿入でうまく機能させるにはどうすればよいですか?

GrabRss = function() {
var http    = require('http');
var sys     = require('sys');
var xml2js  = require('xml2js');
var fs      = require('fs');

var Db      = require('../lib/mongodb').Db,
    Conn    = require('../lib/mongodb').Connection,
    Server  = require('../lib/mongodb').Server,
    // BSON = require('../lib/mongodb').BSONPure;
    BSON    = require('../lib/mongodb').BSONNative;

var data;
var checked = 0;
var len = 0;

GotResponse = function(res) {
    var ResponseBody = "";
    res.on('data', DoChunk);
    res.on('end', EndResponse);

    function DoChunk(chunk){
        ResponseBody += chunk;
    }
    function EndResponse() {
        //console.log(ResponseBody);
        var parser = new xml2js.Parser();
        parser.addListener('end', GotRSSObject);
        parser.parseString(ResponseBody);
    }
}

GotError = function(e) {
    console.log("Got error: " + e.message);
}

GotRSSObject = function(r){
    items = r.item;
    //console.log(sys.inspect(r));

    var db = new Db('myrssdb', new Server('localhost', 27017, {}), {native_parser:false});
    db.open(function(err, db){
         db.collection('items', function(err, col) {
            len = movies.length;
            for (i in items) {
                SaveItem(items[i], col);
            }
         });
    });
}

SaveItem = function(m, c) {
            /*  REPLACE FROM HERE IN ANSWER  */
    c.find({'id': m.id}, function(err, cursor){
        cursor.nextObject(function(err, doc) { 
            if (doc == null) {
                c.insert(m, function(err, docs) {
                    docs.forEach(function(doc) {
                        console.log('Saved: '+doc.id+' '+doc.keywords);
                    });
                });
            } else {
                console.log('Skipped: '+m.id);
            }
            if (++checked >= len) {
                process.exit(0);
            } 
        });
    });
            /*  REPLACE TO HERE IN ANSWER  */
}
//http.get(options, GotResponse).on('error', GotError);
var x2js = new xml2js.Parser();

fs.readFile('/home/ubuntu/myrss.rss', function(err, data) {
    x2js.parseString(data);
});

x2js.addListener('end', GotRSSObject);

}
GrabRss();

要求どおり、コードは上記のとおりです。ファイルはローカルで読み取られます (以前は HTTP 要求でしたが、現在は 25 MB のファイルであり、大量の RSS レコードです)。

約 1 万件のレコードを含むファイルを実行したところ、スクリプト実行後の mongoDB 内のアイテム数は約 800 アイテムです。

答えに従って、挿入コードを置き換えました：

と：

c.update({'id': m.id}, {$set: m}, {upsert: true, safe: true}, function(err){
    if (err) console.warn(err.message);
        else console.log(m.keywords);
        if (++checked >= len) {
            console.log(len);
            //process.exit(0);

            process.exit(0);
        } 
});
4

1 に答える 1

7

デフォルトでは、MongoDB 書き込みはエラーをチェックしません。

safe:truenode-mongodb-native のドキュメントで説明されているように、挿入するオプションを設定する必要があります。

var collection = new mongodb.Collection(client, 'test_collection');
collection.insert({hello: 'world'}, {safe:true},
                  function(err, objects) {
  if (err) console.warn(err.message);
  if (err && err.message.indexOf('E11000 ') !== -1) {
    // this _id was already inserted in the database
  }
});

そうしないと、コールバックはエラーに対して呼び出されず、クライアントはそれらについて知りません。

ループ内で null の場合に検索と挿入を行うのは非常に非効率的であるため、おそらく upsert と update も確認する必要があります。

代わりに、一致するドキュメントが存在する場合は upsert が更新され、そうでない場合は新しいドキュメントが挿入されます。Node でこれを行う方法についての説明は、ドライバーのドキュメントにあります。

于 2011-05-22T03:20:23.840 に答える