powershell - Powershell を使用して CSV 内の重複を見つける

Question

1 GB を超える CSV がいくつかあり、Excel で開くことができません。各行に 5 つのフィールドがあります。これらのフィールドのうち 3 つ (名前、サイズ、変更日) を比較し、1 つを除くすべての重複を保持する必要があります。一意のフィールドも削除します。

それが不可能な場合は、1 つを除くすべての重複を別のファイルに移動する必要があります (そのファイルは、削除する必要があるファイルを決定するために使用されます)。

Answer 1

ハッシュ テーブルを作成します。ファイルを行ごとに読み取ります。関連するフィールドをキーとして連結します。キーがハッシュ テーブルに存在するかどうかを確認します。存在する場合は、重複した行があります。そうでない場合は、（最初​​に出現した）一意の行を取得しています。それをハッシュ テーブルに追加し、その行を別のファイルに記録します。