Google クラウド ストレージに数千のファイルを保存する必要があります。gsutil lsコマンドで返されるファイル数に制限はありますか?
私が間違っていなければ、AWS S3 サービスには、すべてのリクエストで数千のエントリが表示されるという制限があります。次のバッチをリストする必要がある場合は、API を使用するか、いくつかの複雑なスクリプトを使用する必要があります。
gsutil コマンド ライン ツールの使用中にそのような制限があるかどうかを知りたいです。自分で確認できますが、何千ものダミーファイルをアップロードする必要があります!
gsutil ls コマンドは、バケットのリストをページ分割します。基礎となる各 GET は限られた数の結果 (通常は 1000) を返します。gsutil は、バケット内のすべてのオブジェクトがリストされるまで、すべてのバッチを繰り返し処理します。
オブジェクトの大規模なコレクション (たとえば、数十万または数百万) を構築することを計画している場合は、バケット リストを使用してオブジェクトを追跡することに依存せず、代わりに独自のメタデータを維持することをお勧めします (たとえば、すべてのオブジェクト名と関連する詳細を一覧表示するデータベース)。
Mike Schwartz、Google Cloud Storage チーム