php - 200 万ファイルの重複チェック

Question

200 万個のファイルをチェックして、重複がないかどうかを確認する必要があります。

それを行う最善の方法は何ですか？

http://www.easyduplicatefinder.com/ このツールを使用して、約 20,000 ファイルを処理しました

しかし、すぐに200万をやらなければならないでしょう

これを効率的に行う方法についてのアイデアはありますか?

サス

Answer 1

MD5またはSHA-1でチェックサムを作成します(衝突の可能性が低いので望ましい)、または両方 (衝突の可能性が非常に低いため、間違いを犯していないことを知ってぐっすり眠ることができる場合)。

次に、チェックサムを比較します。これで内容が比較されます。ファイルの名前も比較したい場合は、比較するときにそれらを考慮してください。

それだけです。かなり（非常に）信頼できます。