Compute Engine で gsutil cp を実行して、1.5 TB のファイル (それぞれ 2 ～ 150 MB) を S3 から GCS に転送しています。複数の「再開可能なアップロードの試行が進行せずに失敗しました。後でこのアップロードを再試行してください。」でチョークをコピーすることがわかりました。(ABORT_CUR_PROCESS) エラー。.gsutil ディレクトリが失敗した転送でいっぱいになり始めます。これは常に発生するわけではありませんが、最初に転送を開始するときに発生することがよくあります。しばらくすると、gsutil が中止されます。
私が使用しているコマンドラインは次のとおりです。
gsutil cp -c -L ~/S3.log -R s3://<bucket>/<folder> gs://<bucket>/ > /dev/null 2>&1 &
最初は「-m」で試しましたが、エラーメッセージが表示されたので、「-m」なしで実行してみました。また、異なるフォルダー間で 2 つの並行転送を実行して、異なるログ ファイルにログを記録しようとしました。
私は f1-micro を使用していますが、これは不十分かもしれませんが、新しいインスタンスをセットアップする前にそのことを確認してください。CPU 使用率は約 50% で、スワップ ファイルのサイズは 0k であるため、問題が CPU またはメモリ リソースの不足にあるようには見えません。ネットワーク トラフィックの出入りは約 1MBytes/s で、予想外に遅いですが、私が知る限り、利用可能な帯域幅はすべての Compute Engine インスタンスで同じです。ちなみに、CE と CS はどちらも米国中部リージョンにありますが、S3 バケットはアイルランドにあります。
共有できる洞察はありますか？