私は何を持っていますか?
「n」部門のデータがあり、各部門には1000を超えるデータセットがあり、各データセットにはそれぞれ異なるスキーマを持つ10,000を超えるcsvファイル(サイズが10MBを超える)があります。
このデータは今後さらに増加します
私がしたいこと?
このデータをmongodbにマップしたい
私が使用したアプローチは何ですか?
4〜16MBの制限があるため、各データセットをmongoのドキュメントにマップできません
コレクションの最大数も制限されているため (<24000)、各データセットのコレクションを作成できません
最後に、部門ごとにコレクションを作成することを考えました。そのコレクションでは、その部門に属する csv ファイルの各レコードに対して 1 つのドキュメントを作成します。
私はあなたから知りたい:
各レコードをドキュメントにマップすると、パフォーマンスの問題は発生しますか?
ドキュメント数に上限はありますか?
他にできるデザインはありますか?