mysql - ファイル システムとデータベース

Question

私の質問はアプローチ指向です。現在、いくつかのプロジェクトに取り組んでいます。すべてのプロジェクトは、大量のデータを取得して維持する必要があります。私のプロジェクトの 1 つは、Web クローリング システムに関するものです。それが定義するように、Web クロールは膨大な量のデータを保存します。現在、mysql データベースにデータを保持しています。しかし、データベースが巨大になるとどうなるか疑問があります。システムの速度に妥協したくありません。2つ質問があります。

1) データベースが巨大になると、MySql は速度の問題に直面しますか?
2) Web サイトごとに個別のファイルを作成し、そのデータをそのファイルに保存するとどうなりますか。速度の問題に役立ちますか？

Answer 1

一般に、データベースはパフォーマンスを重視して構築されており、大量のデータを扱うのにまったく問題ありません。迅速なアクセスのためにデータのインデックスを作成することもあり、データを高速に取得すること (クエリの最適化) についても非常にスマートです。

したがって、IMO、データベースで高価なクエリを実行する必要がない場合(非常に多くの結合を伴う)、またはSQL でカバーされていないクエリを実行する必要がない場合は、リレーショナル データベースで完全に問題ありません。ディスク容量が心配な場合は、圧縮機能も備えた PostgreSQL を使用してみてください (より多くのデータをメモリに保持してパフォーマンスを向上させることができます)。