問題タブ [gsutil]

「ベンダー ドロップボックス」を作成しようとしましたが、Google クラウド ストレージ ドキュメント の指示に従って、次の一連のコマンドが実行されました。

バケットの作成

外部ユーザー権限の追加

デフォルト ACL の追加

コマンドを使用して、ACL の変更を gsutil getacl gs://customer-10 確認します (正常に確認されました) 。

ただし、ユーザーがhttps://storage.cloud.google.com/?arg=customer-10&pli=1#customer-10のリンクを使用してバケットにアクセスしている場合

このバケットにファイルをアップロードすることはできません。

私のシナリオには何が欠けていますか? 助けてください

25 個の 4GB json ファイルを含むディレクトリで (-m オプションを使用して) gsutil cp コマンドを並行して実行しています (-z オプションを使用して圧縮しています)。

実行すると、1 つを除くすべてのファイルをコピーしていることが端末に出力されます。これは、ファイルごとに次の行のいずれかを出力することを意味します。

そのうちの 1 つの転送が完了すると、最後のファイルをコピーすると表示されます。

この結果、他のファイルのコピーが終了したときにのみコピーを開始する 1 つのファイルが存在し、プロセスが大幅に遅くなります。

-m オプションでアップロードできるファイル数に制限はありますか? これは、boto 構成ファイルで構成可能ですか?

gsutil cp を実行すると、通常は次のように表示されます。

その時点で、CPU はネットワークに負荷がかかる前に、しばらくプロセスでビジー状態になります。

私の質問は、転送を開始する前に CPU 時間がかかる gsutil の動作は何ですか?

したがって、標準の debian 7 イメージを使用して GCE インスタンスを起動し、「gsutil config」コマンドを発行すると、次のメッセージで失敗します。

jcortez@master:~$ gsutil config Failure: No handler was ready to authenticate. 4 handlers were checked. ['ComputeAuth', 'OAuth2Auth', 'OAuth2ServiceAccountAuth', 'HmacAuthV1Handler'] Check your credentials.

debian 6 および centos インスタンスで試してみましたが、同じ結果が得られました。ただし、「gcutil config」を発行すると問題なく動作します。~/.boto ファイルをセットアップする必要があると思いますが、何をすればよいかわかりません。

私は何を間違っていますか？

特定のプレフィックスで始まらないファイルを一覧表示したい。次のように、それらをうまくリストできます。

その逆をどのように行うのですか？

gsutil で大量の画像をアップロードした後、奇妙な問題に遭遇しました。アップロードされたファイルは Google Cloud Console で見ることができず、「gsutil ls」を実行しようとすると、gsutil 自体がエラーを出します。ディレクトリ名に「å」または「Å」とスペースを一緒に使用することに関連していると99％確信しています。

すべてのアップロードは、ルート フォルダー (複数レベルのサブディレクトリにある大規模な画像コレクション) から再帰的に行われました。ファイルを再度アップロードしようとすると、ファイルが既に存在するため、gsutil はそれらをスキップします。そのため、アップロード機能が何らかの処理を行います。リストとダウンロードと同じようには機能しません。

例：

OK - ファイルはそこにありますが、Google Cloud Console を介してディレクトリを参照すると、「結果はありません」と表示されます。

また：

スペースをエスケープしようとしたり、さまざまな方法で引用符を使用したりしましたが、うまくいきませんでした。

さて、興味深いのは次のとおりです。

ここでは、特にソース側でスペースをエスケープしてフォルダーをコピーしました。これで、ファイルが再度アップロードされます。これにより、同じ名前の 2 つ目のフォルダが作成され (少なくとも Cloud Console ではそのように表示されます)、両方のフォルダでファイルが表示されるようになります。

デンマーク語の文字セットで標準の US ASCII の外にある 3 つの異なる文字 ("æøå" と大文字の "ÆØÅ") を使用していますが、問題は "å" と "Å"のみに影響するようです。正常に動作します。私の推測では、"å" と "Å" は ASCII ではまったく異なるものに変換される可能性があり、gsutil がルート フォルダーの名前に基づいて独自にディレクトリの名前付けを処理できる場合 (複数レベルの再帰を行う) ) ただし、ユーザーがルート フォルダーの名前をエスケープして指定すると機能します。

これは gsutil の問題ではなく python の問題である可能性がありますが、寄せ集めのシェル スクリプト以外のプログラミングに関する知識がほとんどないため、これを特定する資格はありません。

GS Python ライブラリで提供されているコード例を使用して、Google Cloud Storage から大きなファイル (2.5 GB) をダウンロードしようとしています。これは、小さなファイルでは問題なく機能します (1 ～ 2 KB のファイルでテストしました)。Windows 7 で Python 2.7.5 を使用しています。

メモリ エラーが発生します。

gsutil.py cp を使用して、コマンド ラインからファイルを正常にダウンロードできます。しかし、このコードを修正するために何をすべきかわからない? 部分的にダウンロードする方法を見つけようとしていますが、方法がわかりません。

S3 でデータをレプリケートしようとしています。ここでは、数十万個の適度に大きなブロブ (多くは 1GB から 100GB の範囲) について話しています。操作は、米国標準の S3 BLOB の場合、米国東部のマシンから実行されます。

gsutil 3.34 は、数時間実行した後でも、下りよりも上りの方がはるかに多くかかるようです。いくつかのオプションを微調整しようとしましたが、どこにも行きませんでした。

測定例: 78387.82 KB/秒の入力と 3154.36 KB/秒の出力。比率が 2 倍になれば問題ありませんが、10 倍以上はあまり適切ではありません。

何が起こっているのでしょうか？