s3
AWSマネジメントコンソールからバケット全体をダウンロードするオプションがないようです。
私のバケツの1つですべてをつかむ簡単な方法はありますか?ルートフォルダをパブリックにし、wget
すべてを取得してから、再びプライベートにすることを考えていましたが、もっと簡単な方法があるかどうかはわかりません。
s3
AWSマネジメントコンソールからバケット全体をダウンロードするオプションがないようです。
私のバケツの1つですべてをつかむ簡単な方法はありますか?ルートフォルダをパブリックにし、wget
すべてを取得してから、再びプライベートにすることを考えていましたが、もっと簡単な方法があるかどうかはわかりません。
私は Amazon S3 データをローカル マシンにコピーするためにいくつかの方法を使用しs3cmd
ました。
Amazon 資格情報を入力し、シンプルなインターフェイスを使用して、バケット、フォルダー、またはファイルをダウンロード、アップロード、同期するだけです。
これを行うには多くのオプションがありますが、最善の方法は AWS CLI を使用することです。
ウォークスルーは次のとおりです。
マシンに AWS CLI をダウンロードしてインストールします。
AWS CLI を設定します。
アカウントの作成時に受け取った有効なアクセスキーと秘密キーを入力してください。
以下を使用して S3 バケットを同期します。
aws s3 sync s3://yourbucket /local/path
上記のコマンドで、次のフィールドを置き換えます。
yourbucket
>> ダウンロードする S3 バケット。/local/path
>> すべてのファイルをダウンロードするローカル システムのパス。Visual Studio を使用する場合は、「AWS Toolkit for Visual Studio」をダウンロードしてください。
インストール後、Visual Studio - AWS Explorer - S3 - バケット - ダブルクリックに移動します。
ウィンドウでは、すべてのファイルを選択できます。右クリックしてファイルをダウンロードします。
Windows の場合、S3 Browserは私が見つけた最も簡単な方法です。これは優れたソフトウェアであり、非営利目的での使用は無料です。
一部の OS X ユーザーに役立つもう 1 つのオプションは Transmit です。
これは、S3 ファイルへの接続も可能にする FTP プログラムです。また、任意の FTP または S3 ストレージを Finder のフォルダーとしてマウントするオプションがありますが、これは限られた時間のみです。
S3 の開発を少し行いましたが、バケット全体をダウンロードする簡単な方法が見つかりませんでした。
Java でコーディングする場合は、jets3t lib を使用してバケットのリストを作成し、そのリストを反復処理してダウンロードするのが簡単です。
まず、AWS 管理コンソールから公開秘密鍵セットを取得して、S3service オブジェクトを作成できるようにします。
AWSCredentials awsCredentials = new AWSCredentials(YourAccessKey, YourAwsSecretKey);
s3Service = new RestS3Service(awsCredentials);
次に、バケット オブジェクトの配列を取得します。
S3Object[] objects = s3Service.listObjects(YourBucketNameString);
最後に、その配列を繰り返し処理して、一度に 1 つずつオブジェクトをダウンロードします。
S3Object obj = s3Service.getObject(bucket, fileName);
file = obj.getDataInputStream();
接続コードをスレッドセーフなシングルトンに入れました。必要な try/catch 構文は、明らかな理由で省略されています。
Python でコーディングしたい場合は、代わりに Boto を使用できます。
BucketExplorer を見回した後、「バケット全体をダウンロードする」ことで、必要なことが実行される場合があります。
S3Fox で Firefox を使用している場合、すべてのファイルを選択し (Shift キーを押しながら最初と最後を選択)、右クリックしてすべてをダウンロードできます。
500以上のファイルで問題なく実行しました。
Windows の場合、これに適した GUI ツールはCloudBerry Explorer Freeware for Amazon S3です。かなり洗練されたファイル エクスプローラーと FTP に似たインターフェイスを備えています。
そこにファイルしかない (サブディレクトリがない) 場合、簡単な解決策は、すべてのファイル (click
最初のファイルShift+click
、最後のファイル)を選択し、Enter
またはright click
を押して を選択することOpen
です。ほとんどのデータ ファイルは、コンピュータに直接ダウンロードされます。
aws sync は完璧なソリューションです。双方向ではなく、ソースから宛先への一方向です。また、バケツにたくさんのアイテムがある場合は、最初に s3 エンドポイントを作成してダウンロードを高速化し (ダウンロードはインターネット経由ではなくイントラネット経由で行われるため)、料金が発生しないようにすることをお勧めします。
Windows ユーザーは、インストール手順も記載されているこのリンクから S3EXPLORER をダウンロードする必要があります:- http://s3browser.com/download.aspx
次に、シークレットキー、アクセスキー、リージョンなどの AWS 資格情報を s3explorer に提供します。このリンクには、s3explorer の構成手順が含まれています: ブラウザーにリンクをコピー: s3browser.com/s3browser-first-run.aspx
これで、すべての s3 バケットが s3explorer の左側のパネルに表示されます。
バケットを選択し、左上隅の [バケット] メニューをクリックして、メニューから [すべてのファイルをダウンロード] オプションを選択します。以下は同じスクリーンショットです。
次に、フォルダを参照して、特定の場所にあるバケットをダウンロードします
[OK] をクリックすると、ダウンロードが開始されます。
s3cmdコマンドで簡単に取得できます。
s3cmd get --recursive --continue s3://test-bucket local-directory/