非常に多数のファイル (1,000 万以上) を S3 バケットから Google Cloud Storage に移動する方法を探していますが、これまでのところ問題があります。
S3 と GCS の両方の間の通信をネイティブにサポートしているため、現在は gsutil を使用していますが、パフォーマンスはあまり良くありません。間違ったことをしているだけかもしれませんが、次の gsutil コマンドを使用しています。
gsutil -m cp -R s3://bucket gs://bucket
c3.2xlarge AWS インスタンス (16GB 8CPU) を起動して十分な馬力を確保しましたが、ボックスのスループットが 2GB 2CPU ボックスよりも優れているようには見えません。わかりませんか?
私は構成ファイルをいじっていて~/.boto、現在次のオプションが設定されています。
parallel_process_count = 8
parallel_thread_count = 100
スレッド数を 10 倍に増やすと確実に効果があると思いましたが、これまでのテストでは違いはありませんでした。パフォーマンスを向上させるために他にできることはありますか?
または、S3 データを GCS に移動するためのより良いツールはありますか? 私は SDK を見ていますが、Java で何かを書きたいと思っています。