126

多くのJavaScriptオブジェクトをJSON形式で格納するファイルがあり、ファイルを読み取り、各オブジェクトを作成し、それらを使用して何かを行う必要があります（私の場合はそれらをデータベースに挿入します）。JavaScriptオブジェクトは、次の形式で表すことができます。

フォーマットA：

[{name: 'thing1'},
....
{name: 'thing999999999'}]

またはフォーマットB：

{name: 'thing1'}         // <== My choice.
...
{name: 'thing999999999'}

...は多くのJSONオブジェクトを示していることに注意してください。ファイル全体をメモリに読み込んで、次のJSON.parse()ように使用できることを認識しています。

fs.readFile(filePath, 'utf-8', function (err, fileContents) {
  if (err) throw err;
  console.log(JSON.parse(fileContents));
});

ただし、ファイルが非常に大きくなる可能性があるため、これを実現するためにストリームを使用することをお勧めします。JSON.parse()ストリームで見られる問題は、ファイルの内容がいつでもデータチャンクに分割される可能性があることです。そのようなオブジェクトでどのように使用できますか？

理想的には、各オブジェクトは個別のデータチャンクとして読み取られますが、その方法がわかりません。

var importStream = fs.createReadStream(filePath, {flags: 'r', encoding: 'utf-8'});
importStream.on('data', function(chunk) {

    var pleaseBeAJSObject = JSON.parse(chunk);           
    // insert pleaseBeAJSObject in a database
});
importStream.on('end', function(item) {
   console.log("Woot, imported objects into the database!");
});*/

注：ファイル全体がメモリに読み込まれないようにします。時間効率は私には関係ありません。はい、一度に複数のオブジェクトを読み取ってすべてを挿入することはできますが、それはパフォーマンスの微調整です-ファイルに含まれるオブジェクトの数に関係なく、メモリの過負荷を引き起こさないことが保証されている方法が必要です。

私は使用するFormatAかFormatB、あるいは何か他のものを選択することができます、ただあなたの答えで指定してください。ありがとう！

4

9 に答える 9

92

ファイルを1行ずつ処理するには、ファイルの読み取りとその入力に作用するコードを分離する必要があります。これは、改行がヒットするまで入力をバッファリングすることで実現できます。1行に1つのJSONオブジェクトがあると仮定します（基本的に、フォーマットB）：

var stream = fs.createReadStream(filePath, {flags: 'r', encoding: 'utf-8'});
var buf = '';

stream.on('data', function(d) {
    buf += d.toString(); // when data is read, stash it in a string buffer
    pump(); // then process the buffer
});

function pump() {
    var pos;

    while ((pos = buf.indexOf('\n')) >= 0) { // keep going while there's a newline somewhere in the buffer
        if (pos == 0) { // if there's more than one newline in a row, the buffer will now start with a newline
            buf = buf.slice(1); // discard it
            continue; // so that the next iteration will start with data
        }
        processLine(buf.slice(0,pos)); // hand off the line
        buf = buf.slice(pos+1); // and slice the processed data off the buffer
    }
}

function processLine(line) { // here's where we do something with a line

    if (line[line.length-1] == '\r') line=line.substr(0,line.length-1); // discard CR (0x0D)

    if (line.length > 0) { // ignore empty lines
        var obj = JSON.parse(line); // parse the JSON
        console.log(obj); // do something with the data here!
    }
}

ファイルストリームがファイルシステムからデータを受信するたびに、データはバッファに格納されてからpump呼び出されます。

バッファに改行がない場合は、pump何もせずに単に戻ります。次回ストリームがデータを取得するときに、さらに多くのデータ（および場合によっては改行）がバッファーに追加され、完全なオブジェクトが作成されます。

改行がある場合はpump、バッファを最初から改行までスライスして、に渡しますprocess。while次に、バッファ（ループ）に別の改行があるかどうかを再度チェックします。このようにして、現在のチャンクで読み取られたすべての行を処理できます。

最後に、process入力行ごとに1回呼び出されます。存在する場合は、キャリッジリターン文字を取り除き（行末の問題を回避するために– LFとCRLF）、JSON.parse1行を呼び出します。この時点で、オブジェクトに対して必要なことは何でもできます。

JSON.parse入力として受け入れるものについては厳密であることに注意してください。識別子と文字列値は二重引用符で囲む必要があります。つまり、{name:'thing1'}エラーがスローされます。を使用する必要があります{"name":"thing1"}。

一度にメモリに格納されるデータのチャンクはこれまでにないため、これは非常にメモリ効率が高くなります。また、非常に高速になります。簡単なテストでは、15ミリ秒未満で10,000行を処理したことが示されました。

于 2012-08-08T23:26:11.937 に答える
44

ストリーミングJSONパーサーを作成するのは楽しいだろうと思っていたのと同じように、すでに利用可能なものがあるかどうかを確認するためにクイック検索を実行する必要があるかもしれないと思いました。

あることがわかります。

  • JSONStream 「JSON.parseとstringifyのストリーミング」

見つけたばかりなので、明らかに使っていないので、品質についてはコメントできませんが、うまくいくかどうか興味があります。

次のJavascriptを考慮して動作します_.isString：

stream.pipe(JSONStream.parse('*'))
  .on('data', (d) => {
    console.log(typeof d);
    console.log("isString: " + _.isString(d))
  });

これにより、ストリームがオブジェクトの配列である場合、オブジェクトが入ってくるとログに記録されます。したがって、バッファリングされるのは一度に1つのオブジェクトだけです。

于 2012-08-08T22:49:02.407 に答える
38

2014年10月の時点で、次のようなことができます（JSONStreamを使用）-https ://www.npmjs.org/package/JSONStream

var fs = require('fs'),
    JSONStream = require('JSONStream'),

var getStream() = function () {
    var jsonData = 'myData.json',
        stream = fs.createReadStream(jsonData, { encoding: 'utf8' }),
        parser = JSONStream.parse('*');
    return stream.pipe(parser);
}

getStream().pipe(MyTransformToDoWhateverProcessingAsNeeded).on('error', function (err) {
    // handle any errors
});

実用的な例でデモンストレーションするには：

npm install JSONStream event-stream

data.json：

{
  "greeting": "hello world"
}

hello.js：

var fs = require('fs'),
    JSONStream = require('JSONStream'),
    es = require('event-stream');

var getStream = function () {
    var jsonData = 'data.json',
        stream = fs.createReadStream(jsonData, { encoding: 'utf8' }),
        parser = JSONStream.parse('*');
    return stream.pipe(parser);
};

getStream()
    .pipe(es.mapSync(function (data) {
        console.log(data);
    }));

$ node hello.js
// hello world
于 2014-07-12T05:51:21.180 に答える
24

可能であればJSONファイル全体をメモリに読み込まないようにしたいことは承知していますが、メモリを使用できる場合は、パフォーマンスの面で悪い考えではない可能性があります。jsonファイルでnode.jsのrequire（）を使用すると、データが非常に高速にメモリに読み込まれます。

2つのテストを実行して、81MBのgeojsonファイルから各機能の属性を出力したときのパフォーマンスを確認しました。

最初のテストでは、を使用してgeojsonファイル全体をメモリに読み込みましたvar data = require('./geo.json')。これには3330ミリ秒かかり、各機能から属性を出力するには804ミリ秒かかり、合計で4134ミリ秒になりました。ただし、node.jsは411MBのメモリを使用しているようです。

2番目のテストでは、@arcseldonの回答をJSONStream+event-streamで使用しました。JSONPathクエリを変更して、必要なものだけを選択しました。今回はメモリが82MBを超えることはありませんでしたが、すべてが完了するまでに70秒かかりました。

于 2016-04-13T07:06:54.970 に答える
23

同様の要件がありました。ノードjsで大きなjsonファイルを読み取り、データをチャンクで処理し、APIを呼び出してmongodbに保存する必要があります。inputFile.jsonは次のようなものです：

{
 "customers":[
       { /*customer data*/},
       { /*customer data*/},
       { /*customer data*/}....
      ]
}

今、私はこれを同期的に達成するためにJsonStreamとEventStreamを使用しました。

var JSONStream = require("JSONStream");
var es = require("event-stream");

fileStream = fs.createReadStream(filePath, { encoding: "utf8" });
fileStream.pipe(JSONStream.parse("customers.*")).pipe(
  es.through(function(data) {
    console.log("printing one customer object read from file ::");
    console.log(data);
    this.pause();
    processOneCustomer(data, this);
    return data;
  }),
  function end() {
    console.log("stream reading ended");
    this.emit("end");
  }
);

function processOneCustomer(data, es) {
  DataModel.save(function(err, dataModel) {
    es.resume();
  });
}
于 2016-01-27T17:16:19.887 に答える
9

私はこれを行うことができるBFJと呼ばれるモジュールを書きました。具体的には、このメソッドbfj.matchを使用して、大きなストリームをJSONの個別のチャンクに分割できます。

const bfj = require('bfj');
const fs = require('fs');

const stream = fs.createReadStream(filePath);

bfj.match(stream, (key, value, depth) => depth === 0, { ndjson: true })
  .on('data', object => {
    // do whatever you need to do with object
  })
  .on('dataError', error => {
    // a syntax error was found in the JSON
  })
  .on('error', error => {
    // some kind of operational error occurred
  })
  .on('end', error => {
    // finished processing the stream
  });

ここでbfj.matchは、解析されたデータ項目を受け取り、3つの引数が渡される読み取り可能なオブジェクトモードストリームを返します。

  1. 入力JSONを含む読み取り可能なストリーム。

  2. 解析されたJSONのどのアイテムが結果ストリームにプッシュされるかを示す述語。

  3. 入力が改行で区切られたJSONであることを示すオプションオブジェクト（これは質問からフォーマットBを処理するためのものであり、フォーマットAには必要ありません）。

が呼び出されると、bfj.match入力ストリームの深さ優先からJSONを解析し、各値を使用して述語を呼び出して、そのアイテムを結果ストリームにプッシュするかどうかを決定します。述語には次の3つの引数が渡されます。

  1. プロパティキーまたは配列インデックス（これはundefinedトップレベルのアイテム用になります）。

  2. 値自体。

  3. JSON構造内のアイテムの深さ（最上位アイテムの場合はゼロ）。

もちろん、要件に応じて、必要に応じてより複雑な述語を使用することもできます。プロパティキーに対して単純な一致を実行する場合は、述語関数の代わりに文字列または正規表現を渡すこともできます。

于 2018-04-02T17:20:16.877 に答える
5

入力ファイルを制御でき、それがオブジェクトの配列である場合は、これをより簡単に解決できます。次のように、各レコードを1行にまとめてファイルを出力するように調整します。

[
   {"key": value},
   {"key": value},
   ...

これはまだ有効なJSONです。

次に、node.js readlineモジュールを使用して、一度に1行ずつ処理します。

var fs = require("fs");

var lineReader = require('readline').createInterface({
    input: fs.createReadStream("input.txt")
});

lineReader.on('line', function (line) {
    line = line.trim();

    if (line.charAt(line.length-1) === ',') {
        line = line.substr(0, line.length-1);
    }

    if (line.charAt(0) === '{') {
        processRecord(JSON.parse(line));
    }
});

function processRecord(record) {
    // Process the records one at a time here! 
}
于 2016-06-02T15:46:52.283 に答える
4

分割npmモジュールを使用してこの問題を解決しました。ストリームを分割にパイプすると、「ストリームを分割して再構成し、各行がチャンクになるようにします」。

サンプルコード：

var fs = require('fs')
  , split = require('split')
  ;

var stream = fs.createReadStream(filePath, {flags: 'r', encoding: 'utf-8'});
var lineStream = stream.pipe(split());
linestream.on('data', function(chunk) {
    var json = JSON.parse(chunk);           
    // ...
});
于 2015-05-24T05:16:58.930 に答える
-5

データベースを使う必要があると思います。この場合、MongoDBはJSONと互換性があるため、適切な選択です。

更新：mongoimportツールを使用してJSONデータをMongoDBにインポートできます。

mongoimport --collection collection --file collection.json
于 2012-08-08T22:34:51.173 に答える