着信 CSV ファイルをインポートしてデータベース テーブルにダンプする Biztalk プロジェクトがあります。インポートは正常に機能しますが、100 万行以上のファイルから約 200 ～ 300 レコードを保持するだけで済みます。私のオーケストレーションはこれらの行を破棄しますが、問題はインポートしているフラット ファイルがまだ 250 MB であり、通常のフラット ファイル パイプラインを使用して XML に変換すると、処理に数時間かかり、サーバーのメモリが不足することがあります。
カスタム パイプライン自体に関係のない行を破棄させるためにできることはありますか? 各 CSV 行の最初の項目は数少ない文字列の 1 つであり、特定の文字列で始まる行のみを保持したいと考えています。
ご協力いただきありがとうございます。