*.csvファイルからSQL2008DBにデータをインポートするSSISパッケージを作成しています。問題は、ファイルの1つにcsvファイル内の重複レコードが含まれており、そのソースから個別の値のみを抽出したいということです。下の画像をご覧ください。
残念ながら、生成されたファイルは私の管理下にはなく、サードパーティが所有しているため、生成方法を変更できませんでした。
ルックアップコンポーネントを使用しました。ただし、既存のデータを受信データと照合するだけです。受信データの重複レコードはチェックされません。
並べ替えコンポーネントには、重複する行を削除するオプションがあると思います。
重複についてどの程度深刻になりたいかによって異なります。複製されたものの記録が必要ですか、それともそれらを取り除くだけで十分ですか？ソートコンポーネントは、ソートフィールドの重複を取り除きます。ただし、重複は他のフィールドで異なるデータを持っている可能性があり、その場合は異なる戦略が必要になります。通常、私はすべてをステージングテーブルにロードし、そこからクリーンアップします。削除された重複を例外テーブルに送信し（送信されたものと一致しない理由について顧客からの多くの質問に答える必要があります）、一連のビジネスルールを使用することがよくあります（SQlの実行またはデータのいずれかを使用します）ルールを適用するためのフロータスク）、ある領域に重複があり、別の領域には重複がない場合にどちらを選択するかを決定します（たとえば、1つしか保存できない場合は2つの会社の住所）。また、クライアントが2つのうちどちらを選択するかを決定する方法を認識していることを確認します。
ツールボックスからそのためのSORTツールを使用し、それをクリックします。使用可能なすべての入力列を取得します。列をチェックし、sortTypeの方向を変更してから、「ソート値が重複している行を削除する」をチェックします。
csvファイルからデータをそのまま取り込み、ロード後に重複排除します。デバッグも簡単になります。
QualificationIDとUnitIDの両方でAggregateComponentとGroupByを使用しました。必要に応じて、ソートコンポーネントを使用することもできます。おそらく、私の情報は他の人を助けるかもしれません。