多くの重複排除ライブラリまたはアプリケーションは、Rabin Karp ローリング ハッシュ アルゴリズムを適用して高速ハッシュを行い、ファイル バイナリからチャンクを切り出します。
私の質問は、なぜ Rabin Karp アルゴリズムがチャンクの切断によく使用されるのでしょうか?
私はそれが高速ローリング ハッシュ アルゴリズムであることを知っていますが、私の質問はより基本的なものです。
チャンクをカットする方法はたくさんあります。
たとえば、1 バイト (mod 操作なし) を値と比較してチャンクをカットすると、平均で 256 バイトのチャンクになります。
9 ビットを比較すると、平均で 512 バイトのチャンクに
なります。ハッシュ化せずに最後の数ビットを比較するだけでは、Rabin Karp などのローリング ハッシュ アルゴリズムに似ていますが、高速になるのでしょうか?