問題タブ [deduplication]

シングルインスタンスストレージと重複排除の優れた候補であるデータストレージ要件があります。

SQL Serverを実際のバックエンドとして使用するか、独自の高性能ストレージエンジンを使用して、SISと重複排除を処理する.Net互換のライブラリまたはシステムを提案できますか？人々はそのようなエンジンでどのような経験をしましたか、そして注意すべき落とし穴はありますか？

よろしく

ムー

Id フィールドが複数回存在するすべてのレコードを取得しようとしていますが、問題はクエリが何も返さないことで、理由がわかりません!? そして、これは私が知っている唯一の方法です。

いくつかの詳細情報:

• 同じ注文番号が 8 つまであります
• 各セットは ProcessOrder によってグループ化されています。これらの最小値が必要ですが、Dupes の場合のみです。
• 残りのデータは異なる場合もあれば、同じである場合もあります。

• データには 3 つの ID が含まれています。これらはすべてだまされています。

  1.お客様番号

  2.法人顧客番号

  3.注文番号

これが私のコードです：

どんな助けでも大歓迎です！

PHP を使用して Web ページをカールします (ユーザーが入力した URL が有効であると仮定します)。例: http://www.youtube.com/watch?v=Hovbx6rvBaA

HTML を解析し、画像のように見えるすべての重複除去された URL を抽出する必要があります。にあるものだけでなく、そのページの などでimg src=""終わるすべての URL 。jpe?g|bmp|gif|png(つまり、DOM を解析したくありませんが、RegEx を使用したいのです)。

次に、幅と高さの情報について URL をカールし、それらが実際に画像であることを確認する予定なので、セキュリティ関連のものについて心配する必要はありません。

約17000行に部分的に重複して冗長なデータを含む7つのMySQLテーブルがあります。すべての表には、学校の名前と住所が含まれています。同じ学校がわずかに異なる名前のテーブルに複製されることもあれば、同じ学校が複数のテーブルに表示されることもありますが、名前や住所にわずかな違いがあります。

私のタスクは、7つのテーブルからのデータを含むID、名前、および町/都市IDフィールドを持つ単一のテーブルを作成することです。IDと名前のフィールドを持つ町用の別のテーブルがあります。

これは、元のテーブルに都市の個別のフィールドがないという事実によって複雑になっています。これは、大きく異なる形式のデータを持つアドレスフィールドから抽出する必要があります。

私はこれのほとんどが手動で行われなければならないことを理解しています、私は私の魂を固めました、そして私はこれが私にもたらす生きている地獄に対処する準備ができています。私の質問は次のとおりです。

• どのようにそのようなタスクを開始しますか？それを可能な限り自動化するためのインテリジェントな戦略は何でしょうか？
• これを高速化できるツールはありますか？文字列を比較し、それらの「類似性」を判断し、重複の可能性を示唆できるもののように？

ありがとう！

データベースで重複する顧客の詳細を見つけるためのコードを書いています。レーベンシュタイン距離を使用します。

ただし、関係を保存する方法がわかりません。私はいつもデータベースを使用していますが、このような状況に遭遇したことはなく、誰かが私を正しい方向に向けることができるかどうか疑問に思いました。

私を混乱させるのは、関係の双方向性をどのように保存するかです。

以下にいくつかの例を示し始めましたが、このタイプのデータを保存するためのベストプラクティスがあるかどうか疑問に思いました。

サンプルデータ

ID、アドレス

001、5 Main Street
002、5 Main St.
003、5 Main Str 004、6
High Street
005、7 Low Street
006、7 Low St

提案1

customer_id1、customer_id2、relationship_strength 001、002、0.74
001、003、0.77
002、003、0.76 005、006、0.77

このアプローチは、customer_id1とcustomer_id2の間の一方通行の関係を推測するため、満足できません。もちろん、すべての関係を両方の方法で含めない限り、処理時間とテーブルのサイズが2倍になります。

たとえば、次のものを含める必要があります：002、001、0.74

提案2

customer_id、grouping_id
001、1 002、1
003、1 005、2 006、2

大文字と小文字を区別しない重複があるテーブル内のエントリのリストを選択してから削除したいと思います。

言い換えると、これらの行は一意です... ..しかし、大文字と小文字を区別しない場合、これらの行は一意ではありません。私が見ていなかった間に彼らは入った。

では、削除するIDを見つけるために、列を選択するにはどうすればよいですか？（両方の重複を削除しても問題ありません）。

単純なサンプル列構造：

辞書内の特定のキーに基づいて、NSDictionaries の NSArray の重複を排除しようとしています。私が持っているものは次のようになります。

同じ名前で ID が異なる 2 人の従業員がいることに注意してください。私がやりたいことは、person1 と person2 だけで新しい配列を取得することです。person3 には同じデータがあるためです。この特定の問題では、「employeeID」の値は気にしません。

何か案は？ありがとう！

-マット

オブジェクトには、と呼ばれるRecメンバー変数tagがありStringます。

のを持っている場合、メンバー変数に基づいてリストを重複排除するにはどうListすればよいですか？Rectag

に各値Listが1つだけ含まれていることを確認する必要があります。Rectag

次のようなものですが、トラック数などを維持するための最適なアルゴリズムが何であるかわかりません。

簡単に言えば、私はプロジェクトを引き継いだのですが、データベース内のテーブルに重複除外が必要です。テーブルは次のようになります。

同じ request_id と supply_id を持つレコードで重複が存在します。このテーブルの重複を排除するためのベスト プラクティスの方法を見つけたいと思います。

[編集]
@Kirk_Broadhurst、質問ありがとう。supply_req_id は他の場所で参照されていないため、最初のものを保持し、後続のオカレンスはすべて削除すると答えます。

楽しい休日

このスクリプトは機能し、プログラムファイルに何がインストールされているかを教えてくれます。

2つの問題

重複する行

すなわち

AVG 2011 Ver：10.0.1204

AVG 2011バージョン：10.0.1204インストール日：2011年1月27日

と

「Update」、「Hotfix」、「Java」というキーワードを含む行を含めたくありません。このスクリプトで必要な追加機能について、VBの達人が助けてくれますか？