マルチパートアップロードを使用して、200GB以上のファイルをS3に取り込みました。次に、Webインターフェイスを介してEBSボリュームにダウンロードする必要があります。これよりも効率的な方法はありますか?
3 に答える
オプションA
AWS Import / Exportサービスを使用して、ファイルをハードドライブにコピーし、物理メディアをAmazonに発送する方が速くて簡単な場合があります。
その後、AWSは指定されたとおりにコンテンツをS3またはEBSボリュームにコピーし、ディスクを返送します。
オプションB
テストすることをお勧めする別のアプローチは次のとおりです。
ファイルを複数の部分に分割します(たとえば、「分割」を使用)
EBSボリュームを作成し、実行中のEC2インスタンスに接続します(高帯域幅を取得するには大きくなります)
複数のrsyncプロセスが並行して実行されている圧縮(-z)を使用してピースをrsyncします。 そうしないと転送が遅くなる遅延の問題を回避するために、複数を並列に配置することが重要です。
ターゲットEBSボリューム上の単一のファイルにピースを貼り付けます(たとえば、「cat」を使用)
EBSボリュームをEC2インスタンスに接続し、そのインスタンスでFTPサーバーを実行できます。FTPサーバーを接続されたEBSボリュームにポイントし、ファイルをFTPでアップします。ファイルはEBSボリュームに直接書き込まれます。
中断された転送の再開をサポートできるFTPサーバーとクライアント(FileZillaなど)を使用することをお勧めします。
EBSをEC2インスタンスに接続しrsync
、ファイルだけをアップしてみませんか?rsync
終了する前にファイルの送信が切断された場合、圧縮からオートコンプリートまですべてを実行できます。
rsync -a --progress myfile ec2-50-19-445-218.compute-1.amazonaws.com:~/