問題タブ [amazon-glacier]

次のコードは期待どおりに機能し、バケット名、ファイル名を表示しています。例えば

これらのファイルをすべてダウンロードして、Glacier Vault に転送する必要があります。

次のコードは、ファイルをコピーし、「company_backup」というボールトに配置します。

最初のコード ブロックから返されたファイルをループ処理する必要があります。ダウンロードしてから、2 番目のコード スニペットを使用して Glacier に転送します。また、記録のために archiveID を保存する必要があります。

AWS SDK for .NET High-Level API を使用して、サイズ 26 MB のファイルを Amazon Glacier にアップロードするサンプル アプリケーションがあります。コードはスレッド化せずに正常に動作しますが、スレッドプールを使用すると、以下の行で失敗します

エラー メッセージ: 要求は中止されました: 要求はキャンセルされました。

スタック トレース: Amazon.Runtime.AmazonWebServiceClient.handleHttpWebErrorResponse(AsyncResult asyncResult, WebException we) で Amazon.Runtime.AmazonWebServiceClient.getRequestStreamCallback(IAsyncResult result) で Amazon.Runtime.AmazonWebServiceClient.InvokeConfiguredRequest(AsyncResult asyncResult) で Amazon.Runtime.AmazonWebServiceClient.InvokeHelper (AsyncResult asyncResult) Amazon.Runtime.AmazonWebServiceClient.Invoke(AsyncResult asyncResult) Amazon.Glacier.AmazonGlacierClient.invokeUploadMultipartPart(UploadMultipartPartRequest uploadMultipartPartRequest、AsyncCallback コールバック、オブジェクト状態、同期されたブール値) Amazon.Glacier.AmazonGlacierClient.UploadMultipartPart(UploadMultipartRequest uploadMultipartPartRequest)

注：データをマルチパートでアップロードしています

サンプル コードについては、以下のリンクを参照してください: www.page-monitor.com/Downloads/ArchiveUploadMPU.cs

アーカイブの並列アップロードのサンプル コードはありますか?

よろしくお願いします、 ハセナ

数か月にわたって EC2 から数百万の URL をクロールする予定で、このデータをどこに保存するかを考えています。私の最終的な目標はそれを分析することですが、分析はすぐには行われない可能性があり (他の理由で今すぐクロールしたいのですが)、最終的にはデータのコピーを転送してローカル デバイスに保存したいと思うかもしれません。 . データは約5TBになると見積もっています。

私の質問: 私はこれに Glacier を使用することを検討しています。クロールされたページをローカル (EB 上) に保存するマルチスレッド クローラーを実行し、そのデータを結合、圧縮、および Glacier に転送する別のスレッドを使用するという考えです。Glacier での転送速度が必ずしも良いとは限らないことはわかっていますが、このプロセスにはオンライン要素がないため、実現可能と思われます (特に、クロール速度が速すぎる場合に備えてローカル EBS ボリュームのサイズをいつでも増やすことができるため)。 Glacier に保存します)。

私のアプローチに欠陥がありますか、またはこれを行うためのより費用対効果の高い信頼できる方法を誰かが提案できますか?

ありがとう！

S3 を使用して重要なドキュメントを保存するアプリに取り組んでいます。これらのドキュメントは、データベースのバックアップが維持される方法と同じように、日次、週次のローテーション ベースでバックアップする必要があります。

S3 は、バケットを定期的に、またはおそらく Amazon Glacier で複数のバケットにバックアップできる機能をサポートしていますか? 私は可能な限り外部サービスの使用を避けたいと思っており、一般的なユースケースとして、S3 がこれを行うための何らかのメカニズムを持っていることを望んでいました。

どんな助けでも大歓迎です。

AWS Glacier から無効な Content-Range を取得し続ける理由がわかりません。私の形式は RFC 2616 に従っているように見えますが、エラーが発生し続けます。ヘルプ？

コードは次のとおりです。

はじめに: VPS (Debian を使用) と、その上でホストされているいくつかの Web サイトがあります。サイトはそれほど大きくありませんが (全体で 10 ～ 20 GB)、すべてのユーザー データを定期的にバックアップする必要があります。

問題: これらすべてのものを Amazon Glacier にバックアップし、いくつかの条件を満たす簡単なソリューションを探しています。

1. 設定が簡単（私はサーバー管理の初心者なので）
2. Amazon Glacier のサポート
3. Debian サポート
4. すべてのファイルをバックアップします (/home ディレクトリ全体)
5. 毎週の増分バックアップ

http://www.bacula.org/en/のような解決策をいくつか見つけましたが、管理が簡単ではありません。

私の場合についてアドバイスをいただけますか、またはそのようなバックアップに適したツールを推奨していただけますか?

S3 バケットをバックアップするためのアドバイスやベスト プラクティスを探しています。
S3 からデータをバックアップする目的は、次の理由によるデータ損失を防ぐことです。

1. S3号
2. このデータを誤って S3 から削除してしまう問題

いくつかの調査の後、次のオプションが表示されます。

1. バージョニングを使用http://docs.aws.amazon.com/AmazonS3/latest/dev/Versioning.html
2. AWS SDK を使用して、ある S3 バケットから別のバケットにコピーする
3. Amazon Glacier へのバックアップhttp://aws.amazon.com/en/glacier/
4. それ自体がバックアップされる本番サーバーへのバックアップ

どのオプションを選択すればよいですか? また、データを S3 のみに保存する場合の安全性は? あなたの意見を聞きたいです。
いくつかの便利なリンク:

• データ保護文書
• データ保護に関するよくある質問