実際のサイズ (VMware ディスク) で約 80GB の 200GB のスパース ファイルがあります。
Google はこのファイルの容量をどのように計算しますか? 200 GB または 80 GB?
gsutil（のようなrsync -S）を使用して Google Cloud に保存するベスト プラクティスは何ですかを使用して解決し
tar cSf、経由でアップロードしgsutilますか? どのくらい遅くなる可能性がありますか？
1 に答える
1
実際のサイズ (VMware ディスク) で約 80GB の 200GB のスパース ファイルがあります。
- Google はこのファイルの容量をどのように計算しますか? 200 GB または 80 GB?
Google Cloud Storage は、ファイルが何であるかを理解するためにファイルをイントロスペクトしません。そのため、問題になるのはディスク上での実際のサイズ (80 GB) です。
gsutil（のようなrsync -S）を使用して Google Cloud に保存するベスト プラクティスは何ですか
ありますgsutil rsyncが、-S をサポートしていないため、あまり効率的ではありません。また、Google Cloud Storage はファイルをランダムにアクセスして書き換えることができるブロックとして保存するのではなく、バケット名 + オブジェクト名でキー付けされた blob として保存するため、基本的に毎回 80 GB のファイル全体をアップロードすることになります。
次のワークフローで、ファイルへのブロック レベルのアクセスを提供する永続ディスクを使用することを検討してください。
ワンタイムセットアップ:
- 永続ディスクを作成し、それを VM イメージのストレージにのみ使用する
事前同期セットアップ:
- 独自のブートディスクを使用して Linux VM インスタンスを作成する
- 永続ディスクを読み取り/書き込みモードでインスタンスに接続します
- 接続されたディスクをファイル システムとしてマウントする
同期:
- ssh+rsync を使用して、VM イメージを VM 上の永続ディスクに同期します
同期後のティアダウン:
- インスタンス内のディスクをアンマウントします
- インスタンスから永続ディスクを切り離す
- VM インスタンスを削除する
スクリプトを使用してセットアップとティアダウンの手順を自動化できるため、同期を実行したいときに定期的に実行するのは非常に簡単です。
- を使用して解決し
tar cSf、経由でアップロードしgsutilますか? どのくらい遅くなる可能性がありますか？
上記の方法はネットワーク接続によって制限され、他のサーバーへの ssh+rsync と同じです。たとえば、自分のネットワーク上の別のサーバーに人為的に帯域幅を調整して、外部アップロード速度と一致させ、ssh 経由で rsync を実行してテストすることでテストできます。
上記でカバーされていないのは価格設定です。そのため、分析で考慮する必要がある可能性があるため、これらの指針を残しておきます。
Google Cloud Storage モードを使用すると、次のことが発生します。
- Google Cloud Storage の料金: 現在 $0.026 / GB / 月
- ネットワーク送信 (受信は無料): データの総量によって異なります
永続ディスクのアプローチを使用すると、次のことが発生します。
ダウンロードするデータの実際の量は、rsync が最小化することになっているため、少なくする必要があります。したがって、ほとんどのデータはダウンロードではなくアップロードする必要があります。したがって、ネットワーク コストは低くなるはずですが、それは実際の rsync に基づいています私が話すことができない実装。
お役に立てれば。
于 2014-08-20T01:46:08.253 に答える