- フラットファイルのリストを読み取るコンソールアプリケーションを作成しました
- 行単位でデータ型を解析する
- そして、それぞれのテーブルにレコードを次々と挿入します。
約63k レコード (行)を含むフラット ファイルはほとんどありません。このようなファイルの場合、私のプログラムでは、63k レコードの 1 つのファイルを完了するのに約 6 時間かかります。
これはテストデータファイルです。本番環境では、100 倍の負荷に対処する必要があります。
スピードアップのためにこれをもっとうまくできるかどうか心配です。
この仕事を処理するための最良の方法を提案できる人はいますか?
ワークフローは以下のとおりです。
- を使用してローカル マシンから FlatFile を読み取ります。
File.ReadAllLines("location") - 行の各フィールドを解析した後、Record Entity オブジェクトを作成します。
- この現在の行をエンティティに挿入します
これをコンソール アプリケーションとして作成する目的は、 このアプリケーションを毎週実行する必要があり (スケジュールされたアプリケーション)、その中に条件付きロジックがあり、いくつかの変数に基づいています。
- テーブル全体の置換または
- 既存のテーブルを更新するか、
- テーブルのレコードを削除します。