11

1ギガのEBSボリュームをEC2インスタンスにマウントし、ローカルハードドライブから(RDS接続を介して)600MBのバイナリデータをコピーしています。コピープロセスウィンドウに残り10時間が表示されます。高速接続(100 + Mbps)がありますが

データ量に関係なく、データ転送速度は1分/ MB(つまり16Kbs /秒)
です。ワークステーションの前でMoby Dickを読むか、休みを取るかをためらっています。

この転送速度を高速化するための合理的なオプションはありますか?
(理想的には最低512 Kbps /秒)

EC2インスタンスへの/からのアップロード/ダウンロード時間を短縮するためのあらゆるソリューションに非常にオープンです。

前もって感謝します。

編集:
[Amazon Export / Import Service][1]に出くわしました。「AWSImport / Exportは、AWSクラウドとあなたが私たちに郵送するポータブルストレージデバイス間で大量のデータを転送することを加速します
」ストレージデバイスをAmazonに「実質的に」出荷することを意味します。
これが石器時代だとは言わないでください、これは真新しいテクノロジーです、おい!:-)

EDIT2:
これは素晴らしく聞こえました:[Aspera for AWs] [2]しかし、残念ながらあまりにも高価です。
大きなニーズと大きな現金でフォーチュン500に合わせて調整されています。

4

2 に答える 2

16

時々、何かをしたいのなら、自分でやったほうがいいです:-)

ネット上で満足のいくものが見つからなかったので、私は自分のかなり完全なベンチテストをして夜を過ごしました。私はいくつかの選択肢/シナリオをテストしました、そしてここに結果があります:

EC2にインストールされたFTPサーバーはFilezillaサーバーでした(正しい構成は扱いにくいです)
このベンチテストに使用されたFTPクライアントはWinSPCでした(Filezillaクライアントは機能しませんでした。この他の投稿
を参照してください 凡例:[HC]はホーム接続(100MBps)を表します

アップロード帯域幅
RDSアップロード:15 Kb / S =>さらに悪い
FTPアップロード[EC2にインストールされたFTPサーバー]:100 Kb / S
HCからAWS管理コンソールからS3にアップロード:60 Kb / S
EC2からAWSコンソールインターフェイスを使用してS3にアップロード:145 Kb / S HCからS3ブラウザ
を使用してS3にアップロード: 120 Kb / S EC2からS3ブラウザ を使用してS3にアップロード: 2000 Kb / S


ダウンロード帯域幅
RDSダウンロードとアップロード:15 Kb / S =>さらに悪い
FTPダウンロード[EC2にインストールされたFTPサーバー]:360 Kb / S
S3からのダウンロードEC2からのAWSコンソールインターフェイス:350 Kb / S S3ブラウザ
を使用したS3からのダウンロード:からHC:380〜620 Kb / S S3ブラウザ を使用してS3からダウンロード:EC2から:3000 Kb / S

結論:

したがって、現時点では、S3ブラウザと組み合わせたAmazonS3が最良の結果をもたらします。(S3ブラウザはS3の単なるレイヤーであり、アップロードレートが優れている理由はわかりません)

ただし、EC2インスタンス上のFTPサーバーには、ローカルEC2ディレクトリをEC2に直接マッピングするという大きな利点があることに注意してください。 。S3とは異なり、関与する転送は1つだけです。実際、S3には2つの転送が必要です。ローカルリソースをS3 /に形成し、S3からEC2に、またはその逆を行います。一方、FTPアクセスは、転送サイクルを短縮することで即時性を付与します。その上、それはS3バケットのコストを節約します。

EC2インスタンスの帯域幅が非常に強いことにも言及するのは興味深いことです。したがって、RDSではなくS3やFTPなど、実際にそれを利用するプロトコルを使用する方がはるかに興味深いことは言うまでもありません。

これが同じ問題に直面している他の人々に役立ち、貴重な時間を割いてくれることを願っています。

于 2011-05-07T01:51:17.680 に答える
1

AsperaまたはTsunamiUDPを使用して、600MBをAmazonEC2インフラストラクチャ(ジャンプボックス)に移動します。次に、内部でジャンプボックスからWindowsec2にコピーします。私のベンチマークは、津波UDPが従来のモードと比較して非常に高速であることを示しています。

于 2013-05-23T06:14:46.290 に答える