問題タブ [duplicate-removal]

まず、フラットファイルから1700万レコードを取得し、リモートボックスのDBにプッシュして、7分かかるのは素晴らしいことです。SSISは本当に素晴らしいです。しかし、そのデータがそこにあるので、重複を削除するにはどうすればよいですか？

さらに良いことに、フラットファイルを取得し、フラットファイルから重複を削除して、別のフラットファイルに戻したいと思います。

私は考えています：

Data Flow Task

• ファイルソース（関連するファイル接続を含む）
• forループコンテナ
• 別の行が存在するかどうかを判断するロジックを含むスクリプトコンテナ

よろしくお願いします。このサイトの誰もが信じられないほど知識が豊富です。

Update: 私はこのリンクを見つけました、この質問に答えるのに役立つかもしれません

以下のレコードを含む以下の表があります

このテーブルには主キーがありませんが、上記のレコードはすでにテーブルにあります。EmpIdフィールドとEmpSSNフィールドで同じ値を持つ重複レコードを削除したいと思います。

例：Emp id 5

誰かがそれらの重複レコードを削除するためのクエリを組み立てるのを手伝ってくれますか？

前もって感謝します

配列a[i][j]があります。要素はcharであり、セット{1、...、8}のサブセットとして解釈されます（k番目のビットが1の場合、要素kはサブセットに含まれます）。関連性はないと思いますが、すべての要素に正確に4ビットが設定されています。

すべての行a[1][j] .. a [n] [j]は、{1、...、8}のサブセットのコレクションです。重複する行を削除する必要があります。{1、...、8}の順列によって一方を他方から取得できる場合、2つの行は重複と見なされます。

例（0bxxxxxxxxは2進数を意味します）：

の複製です

前者は順列を適用することで後者から取得できるためです

結果を並べ替えます。

パフォーマンスを考慮して、配列には約2000行が含まれ、各行は最大20個の要素で構成されます。各行はすでに順序付けられており、これが役立つ場合は、行も辞書式順序で並べられています。アルゴリズムの残りの部分はCで記述されているため、Cソリューションが推奨されます。

ご協力いただきありがとうございます。

メッセージを散発的に生成するシステムを使用しており、5 分ごとに 0 または 1 つのメッセージのみを送信したいと考えています。メッセージが生成されない場合、キュー コンシューマによって処理されるものはありません。5 分以内に 100 個の同じメッセージが生成された場合、そのうちの 1 つだけをキューから消費する必要があります。

AMQP(RabbitMQ) を使用していますが、rabbitmq または AMQP プロトコル内でこれを達成する方法はありますか? キューの内容を検査して、重複を挿入しないようにすることはできますか? キューの検査は悪い考えのようであり、通常、メッセージング システムに対して行うべきことではありません。

キュー検査なしで、これらのツールでこれを達成できますか? 頭に浮かぶ唯一の解決策は、すべてのメッセージを取得する 2 つ目のキューを用意し、コンシューマーが各メッセージを読み取って内部キューに入れ、5 分間待機し、受信した重複メッセージを破棄することです。遅延の後、単一のメッセージが「実際の」キューに入れられて処理されます。

これは、キュー システムで処理できる一般的な状況のようです。何か案は？

CSV ファイルを postgres にインポートしています。

このエラーを回避する最善の方法は何ですか..このエラーを処理するには、Python スクリプトを作成する必要がありますか..

これまでに発生したすべての行変更を保存するテーブルがあります。問題は、アプリケーションの最初に、すべての行のコピーを大量に作成するバグがあったことです。

テーブルは次のようになります。

CIDは、テーブルコピーではUNIQUEです。

私が欲しいのは、CIDでソートされたDATA GROUPBYIDの重複をすべて削除することです。

表からわかるように、CID 2と3は同じであり、次々に配置されています。CID3を削除したいと思います。CID4とCID6でも同じです。それらの間にID1はなく、CID1のコピーです。

重複を削除した後、テーブルを次のようにします。

助言がありますか？:)

誰もが最善だと思う答えがこの結果をもたらすので、私の質問はひどく尋ねられたと思います：

CID252227とCID438158は重複していますが、CID381530がそれらの間にあるためです。これは残しておきたいです。CIDとIDで注文するときに、次々に続くのは重複だけです。

Doublon チェッカーを最適化する方法を知っている人がいれば、それを最適化したいと思います。

ひねりを加えた選択ボックスのドロップダウンを作成しようとしていますが、

基本的に、これはAjaxフォームであり、リストからアイテムを選択すると、テキストフィールドに追加されます。ただし、ここにいくつかの選択肢を追加したいと思います。

私が取得している文字列は、たとえばで構成されています。COMPANY_SITE_DEPARTMENTSDGCC_NEWTOWN_INBOUND

PHPを使用して、logintagsテーブルのデータベースからすべてのアイテムを取得したいので、それが理にかなっている場合は、ドロップダウンボックスにすべてのサイトを追加するための特別な選択を含めることができますか？試しましたが、タグを含む行が複数あると重複します。COMPANY_SDGCC SDGCCSDGCC

重複：

SDGCC_NEWTOWN_INBOUND
SDGCC_NEWTOWN_QH
SDGCC_BOLTON_QH
ARISE_HOME_ORDERS
ARISE_HOME_ENQUIRIES

等...

つまり、基本的にすべてのSDGCCサイトを選択するオプションがありますが、そのデータベースはいつでも変更される可能性があるため、文字列の最初の部分（つまり、SDGCC、ARISE）セクションを選択ボックスに（1回）表示するだけで済みます。

私は現在、以下から提案されたクエリを試しています

SELECT DISTINCT SUBSTRING（tag、0、LOCATE（'_'、tag））FROM dept_logintags LIMIT 0、30

ただし、これは行を返しません