python - s3 バケット内のファイル (キー) の検索に時間がかかる

Question

s3 バケットに 10000 個のファイルがあります。すべてのファイルを一覧表示すると、10 分かかります。ユーザー入力に基づいてファイルを検索する BOTO (AWS への Python インターフェイス) を使用して検索モジュールを実装したいと考えています。特定のファイルを短時間で検索する方法はありますか?

Answer 1

検索を実装するには2つの方法があります...

ケース1。ジョンが提案したように、リストメソッドでs3キーファイルのプレフィックスを指定できます。指定されたプレフィックスで始まる S3 キー ファイルの結果が返されます。

ケース 2.特定のサフィックスまたは拡張子で終わる S3 キーを検索する場合は、デリミタでサフィックスを指定できます。その文字列で終わる検索項目のサフィックスを指定している場合にのみ、正しい結果が得られることに注意してください。Else 区切り文字は、パス区切りに使用されます。

ケース 1 をお勧めしますが、特定のサフィックスでより高速に検索したい場合は、ケース 2 を試すことができます

Answer 2

私の知る限り、prefix名前付きパラメータを使用してファイルプレフィックスに基づいて結果をフィルタリングするのが最善です。