大規模なデータベースがあり、ユーザーが情報を一括更新できる機能を実装したいと考えています。ユーザーが Excel ファイルをダウンロードして変更を加えると、システムは Excel ファイルを受け入れます。
- ユーザーは Web インターフェイス (ASP.NET) を使用して、データベースから Excel にデータをダウンロードします。
- ユーザーが Excel ファイルを変更します。DB への他のマップとして、特定のデータのみを変更できます。
- ユーザーが変更に満足したら、ASP.NET インターフェイスを介して、変更した Excel ファイルをアップロードします。
- Excelファイルからデータを吸い上げ(Gemboxを使用)、データベースに対してデータを検証するのはサーバーの仕事です(これが私が問題を抱えている場所です)
- 検証が完了すると、検証結果が別の ASP.NET ページに表示されます。検証はソフトであるため、DB へのインデックス マッピングが欠落している場合にのみハード エラーが発生します。(欠落しているデータは無視などを引き起こします)
- ユーザーは、実行されるアクションが適切かどうかを決定できます。これらを受け入れると、システムは変更を適用します。(追加、変更、または無視)
ユーザーが行った変更や追加を適用する前に、ユーザーによる間違いを避けるためにデータを検証する必要があります。(意図せずに誤って削除された日付)
更新が必要な行が 65k を超えるのはそれほど難しくありません。
問題は、データを解析して検証を行い、変更セットと追加セットを構築するための最良の方法は何ですか?
Excel データを検証する必要があるすべてのデータをメモリにロードすると、既にメモリを消費しているアプリケーションに不必要に影響を与える可能性があります。Excel ファイル内のすべてのタプルに対してデータベース ヒットを実行すると、65,000 を超えるデータベース ヒットが表示されます。
ヘルプ?