サイズが 130GB のフォルダーがあり、何百万もの小さな (5 ~ 20k) 画像ファイルがあり、それを古いサーバー (EC2) から新しいサーバー (Hetzner、ドイツ) に移動する必要があります。
私たちの SQL ファイル SCP は非常に速く (少なくとも 20 ~ 30 mb/s)、最初の ~5 GB 程度のイメージも非常に速く転送されました。
その後、その日は家に帰り、今朝戻ってくると、画像の転送速度がわずか 5kb/s まで低下しました。RSync は、ワークロードの途中で遅くなるようです。私はgigasync (これはうまくいかないようです) などの代替手段を調べましたが、誰もが rsync が最良の選択肢であることに同意しているようです。
非常に多くのファイルがls -al
あり、1 時間以上かかります。Python を使用して転送を小さな部分にまとめようとする試みはすべて、利用可能なすべての RAM を消費してしまい、正常に完了しませんでした。
すぐに利用できるツールと簡単なスクリプトを使用して、これらすべてのファイルを適切な速度で転送するにはどうすればよいでしょうか?