大量のファイルを含むアプリケーションを別のサーバーに転送するプロジェクトがあります。移行時間をできるだけ短くするために、2 段階のファイル転送を考えています。
- step1: ファイル転送
- step2 (移行日): 移行デルタ
そのため、最初は AWS S3 バケットへの rclone 同期から始めました。これは確実に機能します。しかし、膨大な量のファイルがあるため、変更されたファイルが 1 つだけの場合でも、rclone を使用したデルタ同期には 5 時間かかります。rclone チェック プロセスには非常に時間がかかります...
私の次のアイデアは、最初に初期ファイルを tar し、最初のプロセスで tar のみを転送することです。しかし、移行日には、最初の最初の tar 以降に追加および削除されたファイルを見つけるプロセスが必要です ...
それについて何か提案はありますか？