問題タブ [no-duplicates]

キューから重複するエントリを効率的に削除したいと思います。キューには、DateTimeとFullPathおよびその他のいくつかのカスタムクラスがあります

クラスのDateTimeは、キューに挿入されたときのタイムスタンプです。使用したいロジックは次のとおりです。FullPathが4秒のウィンドウ内で同一である場合（つまり、重複するフルパスから4秒以内にキューに追加された場合）、キューから重複を削除します。見たいイベントがありますが、まだいくつかの複製が届きますので、問題ありません。

私はc＃2.0とFileSystemWatcherクラスとワーカーキューを使用しています。

これを行うには、さまざまな方法があります。アイテムが追加されるたびにキューをトリミングするか、キューで作業しているときに、現在の重複アイテムの処理をスキップします。

または、「グローバルプライベート」変数Dictionary <String、DateTime>を使用する必要がありますか？だから私はすぐにそれを検索できますか？またはキューのローカルコピー？多くのファイルイベントが発生する場合は、ローカルキューを100アイテムに制限するのが最善でしょうか。私の場合、フォルダ内で監視するファイルは比較的少ないはずですが...しかし、状況は常に変化します...

助けてくれてありがとう。

：編集：2月10日8:54 EST：それで、私が知る限り、良い単純なソリューションを実装することにしました。Dictキーを長く保持しすぎているとは思いません...

：編集：2月10日9:53 EST：辞書に重複する値を含めることができないため更新されました。

この配列をphpでソートしようとしています：

次のように表示するには:

基本的に、重複する項目「Portraits」と「Abstract」を削除します。これらは、最初のキー「Levi Self」の下の項目であるとともに、配列の最初のキーになっているためです。これを行う方法はありますか？ありがとう、リーバイ・セルフ

顧客の電子メールとそのア​​カウントを追跡する SQLite ビューを作成しています。同じメールアドレスで複数のアカウントを作成されているお客様がいらっしゃいます。SQLite を使用して、個人が持っているアカウントの数に関係なく、各メールを一度だけ返すようにビューを制限する方法はありますか? どちらのアカウントが破棄されるか (つまり、Jim1 または Jim2) は気にしません。

ビューは次を返します。

ありがとう！

Python でリストを操作しているときに、奇妙な動作に遭遇しました。整数のリストのリストを返すメソッドを実装しました。特に、これらはそれぞれ 3 つのノードを含むグラフ内のサイクルです。

それは私に次のようなものを返します：

ここで、(1) リストの各リストを並べ替える必要があります。その後、(2) リスト全体から重複を削除し、(3) そのリスト全体をもう一度並べ替える必要があります。望ましい結果は次のようになります。

タスク (1) は、compute_cycles を介して返す前に内部リストをソートすることによって達成されます。タスク (2) および (3) は、次の行を実行することによって取得されます。

これは、処理された最初のグラフで機能します。内部リスト内の順序が間違っている場合があるため、次の各グラフは失敗します。最後のソース コード行を 2 回試しましたが、2 回目の結果は予想外のものでした。たとえば、2 回目の実行で x を取得しました。

それ以外の

この結果、辞書のキーとして 27629939 ではなく 29837921 が選択されます。したがって、sorted(x) を使用した最初の順序付けは、すでに false のようです。しかし、なぜ？

プログラムの外でその動作を再現しようとしましたが、できません。私のアプリケーションでは、次のような XML ドキュメントを解析しています。

実行時は、例えば、

その場合、2 回目の実行の順序は予想外です。

私のソースコードの例は自分で再現するのには適していませんが、リストを操作しているときに基本的な Python の要素が欠けている可能性があります。

アップデート

リストの作成は次のとおりです。

アップデート

大きな間違いを犯した場合:__repr__グラフ内で使用される Node オブジェクトの関数を上書きして、整数を返すようにしました。整数ではなく実際のオブジェクトを扱っているため、ソートが失敗する可能性があります。sort関数への呼び出しを次のように変更しました。

それが違いを生むかどうかを確認する必要があります。ノード クラスは次のように定義されます。

各トピックの重複と発生数を検出する次のmysqlクエリがあります。

しかし、私がやりたいのは、見つかったすべての重複を削除することです。トピックごとに1つの一意の名前だけが必要で、重複はありません!! ありがとう

URL をデータベースに保存しています。新しい URL を挿入するときに、その URL がデータベースに既に存在するかどうかを確認したいと考えています。

一般的な方法 (私が間違っていなければ) は、md5 や sha-1 などを使用して URL をハッシュし、新しいフィールドを挿入する前にデータベース内のそのフィールドの重複をチェックすることです。

私はmd5が衝突を引き起こす可能性があることを知っています.sha-1も...

あなたは私に何を提案しますか? 私のニーズは次のとおりです。

• DB サイズ:最終的にデータベースに 1000 万から 2000 万のレコード

• パフォーマンス/速度:ハッシュ サイズが小さいため、データベースの重複チェックに大きな負荷がかかりません (もちろん、そのフィールドにはインデックスが作成されます)。

• 許容範囲: 100,000 レコードごとに 1 つの衝突が発生してもかまいません。私のニーズは、0% の衝突 (大きなハッシュ) ではなく、パフォーマンス (小さなハッシュ) です。

• 意図的に衝突を引き起こす不正な URL による攻撃の可能性:非常に低い

• このような攻撃が成功した場合に可能な最大ダメージ:非常に低い

質問:

• md5 で十分だと思いますか (もっと良い提案があります)。

• たぶん、md5 は私にとってやり過ぎであり、もっと単純なものを使用することでパフォーマンス上の利点を真剣に得ることができますか?

よろしくお願いします！

Web アプリケーションに Excel ファイルをアップロードしています。ファイルがアップロードされると、ファイルが開かれ、データが mysql テーブルにインポートされます。情報を適切に追加するという点で、正常に機能します。ただし、コードに問題があり、重複チェックが正しく機能しません。これの一部は、使用される Excel シートに一意の識別子として使用できる列がないためです。Excelシートで数回、情報は行全体で完全に同一であり、1つまたは2つの列だけが異なります...私は次のようなことができると考えていました:Select * FROM table_name WHERE table_col_1 = variable and table_col_2 = variable 2など...

これを行うことで、行のすべての列の値をインポート値と比較でき、同じ場合はスキップできると考えています...しかし、私はそれを理解することはできません...多分私は考えていますこれを行う簡単な方法があります。以下は私が使用している機能です：

どんな助けでも大歓迎です...

ファイル内の重複行を除外し、結果をセミコロンで区切られた変数 (「配列」のようなもの) に保存するスクリプトの作成に成功しました。私はそれに対する本当の良い解決策を見つけることができませんでした。

の内容!read-array!は2008-12-12;2007-01-01;2009-06-06

ここで、配列内の各項目を取り出して新しいファイルに書き込み、各項目の後に改行を入れたいと考えています。例：

これが私がこれまでに思いついたものです。

私が抱えている問題は、ネストされているときに、2 番目の-loop が変数をトークン定義としてfor受け入れないことです。ただし、ネストされていない場合!loop!は受け入れます。%loop%このようにしている理由は!read-array!、アイテムの数が不明な場合があるため、それらもカウントします。何か案は？

次のテーブルがあります

私のクエリは、タイトル、メッセージ、購読者のメールを返す必要があります。すべてのサブスクライバーは多くのメッセージを受け取ることができます。

クエリで重複した電子メールが返されます。私は取得したい:

今私が持っています：

それをデラする方法は？助けてくれてありがとう。