2

たくさんのファイルを含むディレクトリ ツリー全体をコピーするプログラムを作成しました。これは、2 つの宛先に対して同時に発生します。ソース ツリー内の各ファイルの MD5 合計を生成し、それを txt ファイルにダンプし、宛先側でも同じことを行い、3 つの合計が等しい場合はすべて比較します。これにより、すべてのファイルがコピーされ、チェックサムが検証されたことを確認できます。

問題は、最初にソース ツリー全体を再帰的にコピーしてから、ソース チェックサム生成のためにソース ファイル全体を再度読み取ることです。ソースファイルを再度読み取る必要がないように、ファイルをコピーしてファイルごとにコピーした直後にソース md5 サムを生成する方が速いと思います。

だから私の質問は、効率的かつ迅速な方法でそれを行うにはどうすればよいですか? 1 つのコピー タスクは、500 GB のデータと約 40,000 個のファイルになる可能性があります。

4

1 に答える 1

0

これをゼロから作成する代わりに、python @ https://pypi.python.org/pypi/rsync.pyのサードパーティ rsync ポートを確認してください。

Rsync はすでにこの問題をかなりうまく解決しています。

于 2013-11-01T06:52:00.460 に答える