ネットワーク全体で共有する非常に大きなファイル（> 1 GB）の大きなセット（10以上）があります。小さなファイルもいくつかあることがあります。
とにかく、転送後にこれらのファイルが正しいことを確認したいと思います。したがって、いくつかの異なるハッシュ（SHA1とMD5、おそらくCRC32も）を計算し、それをメタデータファイルに保存するツールを作成できると考えています。受信側にいる人は誰でも、ツールを使用してファイルを確認できます。
ファイルのサイズを考えると、壊れたファイルが元のファイルとの衝突を引き起こす可能性があることを心配する必要がありますか？誰かが故意に衝突を起こす心配はありません。
その場合、bittorrentを使用することもオプションです。これは、はるかに小さいチャンク（数KBから数MB）のSHA1を計算するためです。もう1つの利点は、データの送信も処理できることです。ただし、同じチャンクが異なるファイルに属する可能性があるため、不便も追加されます。その場合、ファイルを検証するためにファイルの「ネイバー」が必要になります。もちろん、ダミーのパディングを追加することもできますが、今は複雑になっています。
2^80と2^64でさえかなり大きな数であり、そのハッシュは「雪崩効果」を持つように設計されていることを私は知っているので、多分私は少しパラノイアです。