2008 SSIS パッケージのフラット ファイルの宛先に書き込んでいます。99.99% 正しく動作します。ただし、宛先ファイルに 1 つの重複レコードがあります。
パッケージの基本フローは次のとおり
です。 1. ISO-8859-1 でエンコードされた 2 つのファイルを読み取り、それらのテキストをメモリ内で UTF8 にエンコードします
。 2. メモリ内で 2 つのファイルを結合し、ルックアップ キャッシュにロードします
。 3. 別のソース ファイルを読み取ります。ディスクから
4. ソース ファイルの ID 列をルックアップ キャッシュの ID 列と
照合する 5. ID がルックアップ キャッシュの ID と一致する場合は一致ファイルに書き込み、ID が一致しない場合は別のファイルに書き込むファイル
すべてが最初から最後まで機能します。ただし、一致ファイルに重複があります。重複は、ルックアップ キャッシュ テキスト ファイルを結合したときに、ファイルの終わり (またはその他の) 特殊文字が原因であると考え始めました。これらのファイルは UNIX システムで生成されます (ただし、読み取るときは UTF8 にエンコードしています)。重複レコードは毎回同じレコードです。重複を取得しないようにするにはどうすればよいですか (または、重複がどこから来ているかを突き止めます)? 宛先に正当な重複があるため、重複の削除を使用できません。私はこれを数週間理解しようとしています。