問題タブ [duplicates]

Perlに配列があります：

配列から重複を削除するにはどうすればよいですか?

string[]関数呼び出しから返されるC＃の配列を使用しています。コレクションにキャストすることもできますがGeneric、おそらく一時配列を使用して、それを行うためのより良い方法があるかどうか疑問に思いました。

C＃配列から重複を削除するための最良の方法は何ですか？

かなり大きなSQL Serverテーブル (つまり 300,000 行以上) から重複行を削除する最良の方法は何ですか?

もちろん、RowIDidentity フィールドが存在するため、行は完全な複製にはなりません。

マイテーブル

誰もがC＃でジェネリックリストを重複排除するための簡単な方法を持っていますか？

2つの列を組み合わせたテーブルからすべての行を取得する必要があります。そのため、同じ日に同じ価格で発生した他の販売がないすべての販売が必要です。日と価格に基づいて一意の販売は、アクティブなステータスに更新されます。

だから私は考えています：

しかし、私の脳はそれ以上に行くのが痛いです。

たとえば、Datagrid だけではなく、System.Data.Datagrid として何かを参照します。例と説明を提供してください。ありがとう。

まず、フラットファイルから1700万レコードを取得し、リモートボックスのDBにプッシュして、7分かかるのは素晴らしいことです。SSISは本当に素晴らしいです。しかし、そのデータがそこにあるので、重複を削除するにはどうすればよいですか？

さらに良いことに、フラットファイルを取得し、フラットファイルから重複を削除して、別のフラットファイルに戻したいと思います。

私は考えています：

Data Flow Task

• ファイルソース（関連するファイル接続を含む）
• forループコンテナ
• 別の行が存在するかどうかを判断するロジックを含むスクリプトコンテナ

よろしくお願いします。このサイトの誰もが信じられないほど知識が豊富です。

Update: 私はこのリンクを見つけました、この質問に答えるのに役立つかもしれません

数十万のレコードを持つデータセットで重複を取得するための高速 SQL の例は何ですか。私は通常、次のようなものを使用します。

しかし、これはかなり遅いです。

がありArrayList<String>、そこから繰り返される文字列を削除したいと考えています。これどうやってするの？

少し前に、Text::DeDupeを使用して小さなスクリプトを作成し、ブログ投稿の重複を目にする前に削除しました。

実装の基になっている Web の構文クラスタリングに関する論文を読んだ後、重複するドキュメント (たとえば、全文ではなくブログの抜粋、引用など) を見つけられるようになりたいと思っています。

C、C++、または perl で、自分で作成する前に試すことができる他の実装を知っていますか?