問題タブ [bucket]

逆のバケットリストを取得する方法を知っている人はいますか?

動作しません。

ありがとう、ロン。

S3 のバケット内のフォルダーから大量の jpg を取得しようとしています。取り出すフォルダを指定するにはどうすればよいですか? 「ドメイン\フォルダー」を試すと、エラーが発生します

無効なエスケープ シーケンス (有効なものは \b \t \n \f \r \" \' \ )

s3サーバーから1時間ごとに100個の最新ファイルをダウンロードする必要があります。

上記のコードはファイルのリストを作成しますが、ファイル名でリストするため、ファイルのアップロード時間には依存しませんか?

ファイル名はどうすることもできません。ランダムに付与されます。

ありがとう。

完了しなければならない課題があります。300 万の文字列を含むファイルを読み取る必要があると表示されます。
ファイルを読み取って、文字列を保持する構造を構築する必要があります。このシステムは、「この新しい文字列は存在するか?」という質問に答えることができなければなりません。

また、リストを文字列の「バケット」に分割して、「一致する文字列」が検索する正しいバケットを (すばやく) 選択できるようにすることも期待されています。つまり、3,000,000 / 0xFFF == バケットあたり 732 オブジェクト)。

これで、ファイルを読み取り、関数を追加および削除するためのハッシュ テーブル、リスト、および関数の構造を作成しました。しかし、太字で入力されたテキストについてはわかりません。ハッシュ関数で何か (太字で要求) を実装する必要がありますか?

以下は私のサンプルコードです

10000を超える大きな数のバケットソートを改善しようとしていますが、コードが大きな数でうまく機能しない理由はよくわかりません。サイズnの配列に対する私のバケットソートアルゴリズム：

1. サイズnのリンクリストの配列を作成します

2. 数値の範囲を計算する

3. 各バケットの間隔を計算する

4. バケットのインデックスを計算し、特定の数値を配置します（問題：数値から間隔を常に減算してインデックスを計算し、間隔を減算するたびにカウンターをインクリメントします。カウンターはインデックスです）この特定のインデックスの検索方法は、大規模な場合は非常に時間がかかると思います数字。バケットのインデックスの検索を改善するにはどうすればよいですか？

PS配列を前処理して、配列の最小数と最大数を見つける方法があると聞きました。次に、最小値から特定の数値を引いてインデックスを計算します。index=number-min。インデックスを計算するという考えはまったくわかりませんでした。質問：1。これはインデックスを見つけるための効率的な方法ですか？2.サイズ4、番号31、34、51、56の配列がある場合、どのように処理しますか？31はバケット0に行き、34はバケット3に行きます、51と56はどうですか？3.インデックスを計算する他の方法はありますか？

mysqlでデータの標準バケット化を実行しようとしています。データをいくつかの特性に沿ってN個のバケットに分割し、各エントリにバケット番号を割り当てます。エントリは、次のように日付、permno、およびボリュームで構成されます。

dte、permno、volume、day_rank

1986-03-07、10071、9203、NULL

テーブルのタイトルはbamです。各日付（dte）には、ボリュームに基づいてランク付けしたい多くのpermno（id）があります。次に、各permnoのランキングをday_rankに割り当てます。したがって、クエリが成功すると、ボリュームに基づいて各dteのpermnoがランク付けされます。私はこの複雑なクエリでこれを行おうとしています：

これは機能しますが、適度なサイズのテーブルの実行に1日ほどかかるほど非常に低速です。

何か案は？

S3 バケットがあり、レールで S3 gem を使用しています。

バケツのサイズを時々チェックしてもかまいません。

バケット内のすべてのファイルに対してこのループを実行してそれらを合計する唯一の方法ですか、それともバケット サイズを取得する簡単な方法はありますか?

乾杯。

AWS IAM STS (boto 経由) を使用して、S3 バケットにアクセスするための認証情報を作成しています。次のポリシーのどこが間違っているのか途方に暮れています。ポリシーを可能な限り単純化しましたが、それでも予期しない結果が得られます。

ユーザーのトークンを取得したら、次のポリシーをアタッチします。

これは機能しますが、明らかに少し寛容すぎます。これらの資格情報に関連付けられているアクセス許可を絞り込む際に、同じポリシーを使用しようとしますが、バケットを指定します。

ここでは、S3 にアクセスしようとすると 403 エラーが発生します。AWS docs に基づいて、これがポリシー内の特定のバケットに対処する方法であると確信しているため、この制限の原因が何であるかについて途方に暮れています. バケットを間違って参照していますか?

S3 コンソールでは、ポリシーは空です (完全に許可されたポリシーも追加しようとしました)。STS トークンの生成に使用される AWS アカウントのポリシーは次のとおりです。

辞書式順序をM個の偶数サイズのバケット（+/- 1文字列）に分割したいN個の文字列があります。また、N>>M。

直接的な方法は、すべての文字列を並べ替えて、結果のリストをM個のバケットに分割することです。

代わりに、完全なリストが利用可能になる前に、作成された各文字列をバケットにルーティングすることで、これを概算したいと思います。

文字列をバケットに割り当てるための高速でPythonの方法はありますか？私は基本的に、整数モジュロ演算子の文字列に相当するものを探しています。おそらく、辞書式順序を保持するハッシュですか？それも可能ですか？

Amazon は、匿名ユーザーへのアクセス許可の付与の例を次のように提供しています ( Amazon S3 バケット ポリシーのケース例を参照)。

ポリシー内で、「arn:aws:s3:::bucket/」の「bucket」を「my-bucket」に変更しました。

ただし、そのバケットのフォルダー内の画像にアクセスしようとすると、次のアクセス拒否エラーが発生します。

この XML ファイルには、スタイル情報が関連付けられていないようです。ドキュメントツリーを以下に示します。

(その画像のプロパティを明示的にパブリックに変更し、その URL をリロードすると、画像は完全に読み込まれます)

私は何を間違っていますか？

更新 #1 : どうやら、私がアクセスを許可したサードパーティのサイトと関係があるようです。メイン ユーザー (私) としてすべてのアクセス許可があり、そのオブジェクトは同じフォルダーにあり、まったく同じアクセス許可がありますが、それらを公開することはできません。理由はわかりません。

更新 #2 : バケット ポリシーは、他のユーザーが「所有」しているオブジェクトには適用されません。それらがバケット内にある場合でも、詳細については私の回答を参照してください。