hash - ファイルハッシュを計算する最速の方法は?

Question

多くのファイルが DB に保存されるため、ファイルが変更されていないことを一意に識別するためにファイル ハッシュが必要です。(一般的には、Windows パーソナル ファイアウォールの一部として使用されます)

Answer 1

もちろん、これは一般的には不可能です。多くの人は今でもこの目的でハッシュを使用しており、MD5は一般的なアルゴリズムであり、ファイルの内容が変更されたときに変更される可能性が高いファイルに 128 ビットの「署名」を提供します。

一般的なケースでは、ファイルをハッシュに含めるためにファイルのすべてのビットを調べる必要があり、パフォーマンスはおそらく I/O によって制限されます。これは、ファイル内のすべてのデータに対するシーケンシャル スイープであり、新しいバイトごとに使用するハッシュ アルゴリズムの状態を更新します。最新の CPU では、後者は前者よりも高速です。このかなり古い分析では、Pentium 90 MHz CPU で約 45 MB/s が示されています。