問題タブ [jets3t]

私たちはファイル ストレージに Amazon S3 を使用していますが、最近、ある種のディレクトリ構造を維持する必要があることがわかりました。S3 ではそれが許可されていないため、ストレージの構造に従ってファイルに名前を付けることができます。例えば...

私が知りたいのは、この特定のファイルへの公開リンクを提供したい場合、ファイルが abc/123/draft.doc の代わりに単に draft.doc になる可能性があるということです。

Androidアプリケーション内でJets3tライブラリを使用しようとしていますが、ライブラリを使用するとRestサービスでエラーが発生し続けます。

XercesライブラリとCrimsonライブラリを含めようとしましたが、うまく機能しません。このエラーが発生します：

それを機能させるために私にできることはありますか？

参考文献:

• http://www.grails.org/plugin/amazon-s3
• http://svn.codehaus.org/grails-plugins/grails-amazon-s3/trunk/grails-app/services/org/grails/s3/S3AssetService.groovy
• http://svn.codehaus.org/grails-plugins/grails-amazon-s3/trunk/grails-app/domain/org/grails/s3/S3Asset.groovy

「幸せな」名前とは、アップロードしているファイルの実際の名前を意味します...たとえば、「foo.png」というファイルを配置する場合、ファイルへの URL は /foo であると予想されます.png. 現在、ファイル名の GUID (ファイル拡張子なし) のように見えるものを取得しています。

何か案は？

jetS3t のサンプルコード例より以下のコード: 最初からダウンロードするファイル数がわからない場合はどうすればよいですか? たとえば、S3 のサムネイルを使用するアプリケーションと、ユーザーがサムネイルのリストをスクロールするクライアント アプリケーションです。

オブジェクトをローカル ファイルにダウンロードする

マルチスレッド サービスは、一度に複数のオブジェクトをダウンロードする方法を提供しますが、これを使用するには、最初に各オブジェクトに関連付けられたデータを配置する場所を準備する必要があります。このデータを格納する最も明白な場所はファイルです。そのため、オブジェクト データをファイルにダウンロードする例を見てみましょう。オブジェクトをファイルにダウンロードするには、まずオブジェクトごとに DownloadPackage クラスを作成する必要があります。このクラスは、オブジェクトのデータが書き込まれるファイルにオブジェクトを関連付けるだけの単純なコンテナです。オブジェクトごとに DownloadPackage を作成して、オブジェクトを出力ファイルに関連付けます。

その場合の提案はありますか？前もって感謝します

アントニス

私はHadoopマップを変更しています-現在コンパイルされ、変更なしで正常に実行されるジョブを減らします。

仕事の一環として、ファイルを配信するためにS3に接続します。

私は（非常に単純な）s3Connectorクラスを開発し、それをEclipseでテストして実行し、それをreduceジョブにフックしました。Hadoopでジョブを実行するには、プロジェクトをjarファイルとしてエクスポートし、Hadoopから呼び出す必要があります。jarファイルはEclipseから問題なくコンパイルおよびエクスポートされているようですが、hadoopで実行すると、java.lang.VerifyError例外が発生します。

他のいくつかの投稿では、競合するjarバージョンの依存関係がある可能性があると述べていますが、Eclipseビルドパスで、指定したライブラリの最新のjarファイルをすべて追加し、ビルドパスの順序の一番上にプッシュしました。

これは、私がそれを次のように分離できるのと同じくらい簡単です。

その単純なクラスでさえ死ぬでしょう..同じメッセージ。コンストラクターとRestS3ServiceでAWSクレデンシャルをコメントアウトするとすぐに、問題は解消されます。基本的に、それは日食からのある種のライブラリエクスポートの問題だと思いますが、それを見つける方法がわかりません。

こんにちは、jets3tライブラリを使用してS3にアクセスしようとしています。AWSでサポートされているサンプルコード（ここにURL）をたどったところ、これが私の単純なコードです

}

しかし、私はこのような問題に遭遇しました

私は会社でこのコードを実行しているので、これはファイアウォールの問題だと思います。誰かがこの問題を知っていますか？ヘルプ！

jets3t を使用して、バケットの 1 つでファイルを一覧表示しています。そして、それがすべてを返すことに気付きました。一度にすべてを取得するのではなく、ディレクトリごとにバケットをトラバースしたいのですが、時間がかかりすぎるので、最初のレベルのファイルのみを取得する方法はありますか?

例えば：

\Bin
-\file1.txt
-\folder1
----\file2.txt

したがって、基本的に file1.txt と folder1 オブジェクトを取得しますが、さらに深くは行かず、folder1 にある file2.txt を取得します。

私の理解では、Jets3t 0.7.4 以前は S3 エンドポイントが S3Service::setS3EndpointHost で静的に設定されていました。そのため、同じアプリケーションで異なる S3 エンドポイントを使用して、Jets3t を使用してコンテンツを S3 に取得/配置する方法はありませんでした。

Jets3t 0.7.4 リリース ノートには、「署名付き URL を生成するための S3Service の非推奨の静的メソッド。VM 全体の S3 エンドポイント定数への依存を避けるために、新しい非静的メソッドの同等物を今後使用する必要があります。」と書かれています。

S3 エンドポイントを動的に変更できるようになりましたか? はいの場合、それを行う方法..利用可能な setS3Endpoint メソッドはありますか?

S3 を使用している他のユーザーに役立つ可能性のある観察と、以下の質問があります。ここでのコード例は、JetS3t Java lib を使用した Groovy のものですが、概念はどのプログラミング言語にも適用できます。

ここ Slashdot や他の場所で、S3 にはバケット内のサブディレクトリの概念がないと主張する多くのドキュメントを見つけました。これはほとんど真実です。ファイルを削除したいときは、最初に以下を使用してそれらを見つけなければならないことがわかります:

これらのファイルを削除しても、バケット内のサブディレクトリのように見えるものが残ります。「stuff/」は引き続き表示されます。そのため、サブディレクトリが本当にないというのが本当かどうか疑問に思いました。実際のサブディレクトリがないことは事実ですが、一部のファイルがサブディレクトリになりすましてリストに表示されています。少し調べてみたところ、これは別の S3 オブジェクトであり、キーに特別な文字列 _$folder$ が追加されたキー名を持つことがわかりました。したがって、次のようにしてこれを削除できます（上記の例を想定して）：

これで、そのバケット内のサブディレクトリが一覧表示されなくなります。私はこれをテストしていませんが、キー 'stuff_$folder$' を削除しようとする前に、stuff/ フォルダーが既に空になっている必要があると思います。私が驚いたのは、ここのすべての投稿でこれが言及されていないことです。そのため、サブディレクトリ全体を削除しようとする人は、おそらくサブディレクトリ自体がまだぶらぶらしています!

元の listObjects 呼び出しに戻って、代わりにこれを行うと:

結果に stuff_$folder$ が返されます。それに関する私の問題は、キー「stuff」で始まるが「サブディレクトリ」に含まれていない他のオブジェクトも取得する可能性があることです。したがって、注意する必要があります。したがって、私の好みは、「stuff/」をキーとして渡し、「stuff_$folder_」オブジェクトを個別に処理することです。

これは私を最後の質問に導きます。listObjects(bucket, key, delimiter) 呼び出しの最後のパラメーターが何を意味するのかについて明確な説明が得られないようです。「区切り文字」とは正確には何ですか。「ファイル区切り」（「/」など）を意味していないようです。検索しましたが、これが何を意味するか、またはどのように使用されるかを示す例が見つからないようです。listObjects のユーティリティと柔軟性を改善する方法があるかどうかを知りたいです。区切り文字パラメーターの使用法と意味を示す例を誰か提供できますか? それは単純なものだと確信しており、その良い例を見つけることができません。

ユーザーのデータを S3 にアップロードするスイング アプリケーションを作成しました。jets3t ライブラリを使用して、S3 サービスをアップロードして操作しています。テストを行うために、S3 への呼び出しをスタブ化し、jets3t ライブラリをスタブにヒットさせる方法はありますか?