私のクライアントは、データベースに挿入する必要がある CSV ファイルまたは固定幅ファイルを取得します。
新しいファイルを取得するたびに、新しいファイルに加えてすべての履歴レコードが含まれます。
私の質問は、テーブル全体を切り捨ててすべて再挿入するか、一意の行のみを挿入する方がよいですか? 一意に挿入する方が良い場合、これはどのように効率的に行われますか?
編集:最大の CSV は 186,868 行で、99% 以上の繰り返しデータがあります。
私のクライアントは、データベースに挿入する必要がある CSV ファイルまたは固定幅ファイルを取得します。
新しいファイルを取得するたびに、新しいファイルに加えてすべての履歴レコードが含まれます。
私の質問は、テーブル全体を切り捨ててすべて再挿入するか、一意の行のみを挿入する方がよいですか? 一意に挿入する方が良い場合、これはどのように効率的に行われますか?
編集:最大の CSV は 186,868 行で、99% 以上の繰り返しデータがあります。