毎日インポートする大量のデータを処理するためにテーブルを設定する最善の方法について、一般的な質問があります。このテーブルが急速に拡大するように、毎日 1000 件のレコードを含む 10 個の csv ファイルをインポートします。
これは、小さな int から中程度の int から 30 文字の varchar まで、15 ほどの列で構成されています。
ID フィールドはありません。6 つの列を結合して主キーを形成できます。これは var char の全長で約 45 になります。
インポートしたら、Web フロント エンドを介してサマリー レベルでこのデータをレポートする必要があるため、インポート後にレポート テーブルを作成する必要があります。
このデータ内には、日付、地域、顧客など、毎日のインポートで繰り返される多くのフィールドがあり、毎日の列の半分だけがレコードに固有です。
質問:
- ダンプテーブルとしてすぐにすべてを 1 つのテーブルにインポートする必要があります。
- インポート プロセスを通じてデータを変換し、インポートを異なるテーブルに分割する必要がありますか
- インポート中に一意のキーを取得できる列に基づいて id フィールドを形成する必要がありますか?
- これにはauto inc idフィールドを使用する必要がありますか。
- これはどのようなテーブルにする必要があります InnoDB など
私の懸念は、このテーブルのデータ過負荷であり、レポートテーブルへの抽出が構築されるにつれてますます困難になりますか?
アドバイス本当に助かります。ありがとう。