問題タブ [gsutil]

GCS でファイルを管理するために、Linux 環境で gsutil を使用しています。コマンドが使えるのは嬉しい

ファイルをアップロードするために STDIN を gsutil に渡す他のコマンドが先行します。そうすることで、アップロードされたファイルのローカル リストを維持したり、アップロードして渡す特定のパターンを生成したりできます。

次のような同様のコマンドを実行できるようにしたいと思います

同様にファイルをスクラブします。現在、削除するファイルの大きなリストを作成し、次のコードで実行します。

これは、マルチスレッドの「gsutil -m rm...」コマンドに比べて非常に遅く、リストから一度に 1 つずつファイルを処理する必要がある場合、-m フラグを有効にしても効果がありません。私もただ走るだけで実験しました

しかし、これには大量のデータを再コピーする必要があり、多くの時間を浪費します。データはすでにそこにあり、一部を削除する必要があります。任意の考えをいただければ幸いです。また、ファイルの名前を変更することに関して、どちらの側でもあまり柔軟性がありません。それ以外の場合は、アップロードする前にすばやく名前を変更すると、これらすべてが処理されます。

Compute Engine で gsutil cp を実行して、1.5 TB のファイル (それぞれ 2 ～ 150 MB) を S3 から GCS に転送しています。複数の「再開可能なアップロードの試行が進行せずに失敗しました。後でこのアップロードを再試行してください。」でチョークをコピーすることがわかりました。(ABORT_CUR_PROCESS) エラー。.gsutil ディレクトリが失敗した転送でいっぱいになり始めます。これは常に発生するわけではありませんが、最初に転送を開始するときに発生することがよくあります。しばらくすると、gsutil が中止されます。

私が使用しているコマンドラインは次のとおりです。

最初は「-m」で試しましたが、エラーメッセージが表示されたので、「-m」なしで実行してみました。また、異なるフォルダー間で 2 つの並行転送を実行して、異なるログ ファイルにログを記録しようとしました。

私は f1-micro を使用していますが、これは不十分かもしれませんが、新しいインスタンスをセットアップする前にそのことを確認してください。CPU 使用率は約 50% で、スワップ ファイルのサイズは 0k であるため、問題が CPU またはメモリ リソースの不足にあるようには見えません。ネットワーク トラフィックの出入りは約 1MBytes/s で、予想外に遅いですが、私が知る限り、利用可能な帯域幅はすべての Compute Engine インスタンスで同じです。ちなみに、CE と CS はどちらも米国中部リージョンにありますが、S3 バケットはアイルランドにあります。

共有できる洞察はありますか？

ETL プロセスを使用して Google Cloud Storage からデータを取得しますが、ライブラリを更新するかどうかを尋ねるプロンプトが表示されるため、Google が GSUtil にアップデートをリリースするたびにハングします。これを手動で行っている場合は問題ありませんが、自動化された SSIS パッケージで実行されている場合はクールではありません。ジョブが何日も終了せず、同じ愚かな原因で時間を浪費し続けるからです。

私は包丁になると思って、この問題を抑えることを期待して SSIS パッケージのビルド/実行を自動化している bash スクリプトの先頭に「python gsutil update -n」を追加しましたが、実行するとWindows Server 2008r2 または Windows 7 のプロンプトからこのコマンドを実行すると、次のようになります。

何か助けはありますか？

PS - また、Google エンジニアの皆様...これらのプロンプトを削除していただけますか? 自動化されたプロセスでこれらのツールを使用している私たち全員にとって? 数日/数週間ごとにこのようなことに常に戻るのではなく、他に取り組むべきことがあります。

gsutil を使用して、Windows マシンから Google Cloud Storage にファイルを転送しています。

6か月以上使用していませんが、試してみると次のようになります。

失敗: invalid_grant

これを調査した結果、アクセス トークンは 6 か月間使用されていないため、有効ではなくなったと思われます。リフレッシュ トークンが必要ですか?

これを取得して使用する方法が見つからないようです。

ありがとう

実行gsutil -DD configすると、次の出力が生成されます。

appengine プロジェクトを介して Google クラウド データストアにデータを保存しており、エンティティの 1 つを CSV ファイルとしてダウンロードしたいと考えています。

この appengine プロジェクトがデフォルトになるように gsutil をセットアップしました。また、クラウド ストレージの下にバケットを作成しました。

gsutil を使用してデータをバケットに移動する方法はありますか? gsutil cp gs://bucket_name が有力な候補のようです。

しかし、これは行く方法ですか？もしそうなら、URIの構造は何ですか?

どうもありがとう！

「gsutil cp」を呼び出して、GCS から選択したファイルをローカル フォルダーにコピーする Perl スクリプトがあります。

スクリプトは HTTP 経由で呼び出されるため、複数回開始できます (リンクをダブルクリックするなど)。これが発生すると、ローカル ファイルが正しいサイズの正確に 2 倍になり、明らかに破損する可能性があります。奇妙に見える 3 つの点:

1. gsutil は、書き込み中にローカル ファイルをロックしていないようで、別のスレッド (この場合は gsutil の別のインスタンス) が同じファイルに書き込むことができます。

2. 「-n」は効果がないようです。gsutil の 2 番目のインスタンスがコピー アクションを試行するのを防ぐことを期待していました。

3. MD5 署名チェックが失敗しています。通常、署名の不一致がある場合、gsutil はターゲット ファイルを削除しますが、これが常に発生しているわけではありません。

問題のファイルは 2MB を超える (通常は約 5MB) ため、自動再開機能とのやり取りが発生する可能性があります。Perl スクリプトは、ローカル ファイルがまだ存在しない場合にのみ gsutil を呼び出しますが、これはダブルクリックをキャッチしません (GCS 転送認証のタイム ラグのため)。

gsutil バージョン: FreeBSD 8.2 では 3.42

同様の問題を経験している人はいますか？洞察力のある人はいますか？

エドワード・リー

コンピューティング エンジン インスタンス (debian) からクラウド ストレージにファイルをアップロードしようとしています。ある時点で、gsutil が完全に機能しなくなりました。-D フラグを付けて実行すると、次の応答が表示されます。

返信: 'HTTP/1.1 400 Bad Request\r\n'header: Content-Type: application/json; charset=UTF-8header: Content-Encoding: gzipheader: Date: Tue, 27 May 2014 21:09:47 GMTheader: Expires: Tue, 27 May 2014 21:09:47 GMTheader: Cache-Control: private, max-age= 0header: X-Content-Type-Options: nosniffheader: X-Frame-Options: SAMEORIGINheader: X-XSS-Protection: 1; mode=blockheader: Server: GSEheader: Alternate-Protocol: 443:quicheader: Transfer-Encoding: chunkedprocess count: 1thread count: 10