php - 大きなjsonファイルを読み取るためのベストプラクティス?

Question

私はjsonとして保存された数ギグのデータを持っています。それらをmongodbまたはcouchdb（おそらくMongolabのようなリモートホスト上）、http://fatfreeframework.com/jigのようなフラットファイルjson dbにロードするのが最善ですか? PHP（またはNodeなど）またはその他の方法を使用してサーバー上に直接ファイルを保存しますか? ファイルは巨大です。それらをメモリにロードする必要があるのは良くありませんが、私はすべてに対してオープンです。

Answer 1

あなたがしたいように聞こえます：

1. 大量のデータを JSON 形式で保存する
2. 特定の JSON ドキュメントのクエリ
3. 一致するドキュメントの一部を返す

CouchDB について話すことはできませんが、これは MongoDB では非常に簡単です。

1. を使用して、JSON ドキュメントを MongoDB にロードしますmongoimport。

2. を使用してクエリを実行するフィールドにインデックスを付けますensureIndex()

3. コマンドを使用find()して目的のドキュメントを照会し (criteriaパラメーター)、ターゲット キーのサブセットを返します (projectionパラメーター)

ここでの主な制限は、「巨大な」JSON ドキュメントのサイズです。MongoDB では各ドキュメントが 16 MB に制限されているため、ドキュメントがそれよりも大きい場合は、一部のデータを削除するか、機能させるために巧妙なトリックを実行する必要があります。それらがその制限に収まる場合、MongoDB は要件を満たすための非常に優れた方法であるはずです。