問題タブ [google-cloud-storage]

PHP と REST を使用して Google クラウド ストレージにバケットを作成しようとしています。米国リージョンでは問題なくバケットを作成できますが、EU リージョンではバケットを作成できないようです。

これが私がやっていることです -

この関数は、米国のバケットでは正常に機能しますが、EU の場合は失敗します。バケット用に生成された名前が一意の名前であることを確認しています (米国のバケットでも同じパターンが機能します)。

編集:実際には関数は失敗しません。バケットを作成します... EU 地域を指定しているにもかかわらず、米国地域にバケットを作成するだけです。

Google APIコンソールで作成したサービスアカウントを使用して、gsutilを使用してデータをGoogle BigQueryにアップロードするにはどうすればよいですか？

まず、 gsutilを使用してCloud Storageにデータをアップロードしようとしています。これは、推奨されるモデルのようです。Gmailユーザーの承認があればすべて正常に機能しますが、サービスアカウントを使用できません。

Python APIを使用して、署名されたJWTクレデンシャルを使用してアクセストークンを取得できるようですが、再開可能なアップロードなどをサポートするgsutilなどのコマンドラインツールを使用することをお勧めします。

編集：cronでgsutilを使用して、ファイルを毎晩Cloud Storageにアップロードしてから、BigQueryにインポートしたいと思います。

助けや進むべき道順をいただければ幸いです。

公式ドキュメントによると、 Google App Engine のgs.listdir()は、含まれている例に示すように、いくつかのオプションの引数で呼び出される場合があります...

ただし、プレーンな Google Cloud Storage パスのみ (問題なく動作します) 以外のもので呼び出そうとすると、次のようなエラーが発生します...

リクエストに応じて、ここにトレースバックがあります...

私は何を間違っていますか？

私はグーグルクラウドストレージサービスからの応答を得るために以下に与えられたコードを使用しています：

PHPGoogleクラウドストレージ

上記のコードを使用すると、XML応答が得られますが、JSON応答が必要です。その方法を教えてください。

設定する必要のあるヘッダーはありますか？

または特定のパラメータ？私を助けてください。

何千もの「小さな」ファイル（gsutil -m cp -R -q / dir / * gs：//bucket_name）を含む大きなディレクトリ（1TB）をアップロードしようとしています。しかし、数時間後、CPU使用率が100％に急上昇し、ネットワークトラフィックが恒久的に0に低下するのを見ることができます。md5sumであるランダムファイルの「アップロードを再開するためにmd5に追いつく」で立ち往生しているようです。1秒もかからないはずです。

私はGoogleクラウドストレージに非常に慣れていません。

PHPコーディングを使用してバケットにフォルダを作成したい。私はかなりの数のサイトを検索しましたが、1 でそれが書かれているのを見ました:

「バケット内にフォルダを作成すると、ディレクトリにちなんで名付けられたプレースホルダ オブジェクトが作成され、データ コンテンツがなく、MIME タイプが application/x-directory になります。Google Storage Manager で作成されたディレクトリ プレースホルダ オブジェクトはサポートされていません。」

何を言おうとしているのか理解できませんでした。フォルダを作成する方法を教えてください。次のコードを使用してみました：

次のリンクの API を使用しています。

PHP 用 Google API

PHPを使用してフォルダを作成するのを手伝ってください。

Google クラウド ストレージに数千のファイルを保存する必要があります。gsutil lsコマンドで返されるファイル数に制限はありますか?

私が間違っていなければ、AWS S3 サービスには、すべてのリクエストで数千のエントリが表示されるという制限があります。次のバッチをリストする必要がある場合は、API を使用するか、いくつかの複雑なスクリプトを使用する必要があります。

gsutil コマンド ライン ツールの使用中にそのような制限があるかどうかを知りたいです。自分で確認できますが、何千ものダミーファイルをアップロードする必要があります!

GoogleCloudStorageを使用するために次のリンクを使用しています。

Google CLoud

上記のAPIで指定した挿入関数を使用してオブジェクトをアップロードしたいのですが、PHPを使用しています。私が使用しているコードは次のとおりです。

しかし、私は次のようにエラーを取得しています：

致命的なエラー：キャッチされない例外「Google_ServiceException」とメッセージ「POSTの呼び出しエラーhttps://www.googleapis.com/storage/v1beta1/b/mybucket/o：（400）必須」/ home / www / public_html / abc / google -api-php-client / src / io / Google_REST.php（66行目）

私が間違っていることは私を助けてください。

パラメータの送信方法に問題があります。誰かが私を助けてくれることを知っているならお願いします。

ここに例があります：

例

しかし、それはJavaです。PHPでも同じことをするのを手伝ってください。私を助けてください。

既存のウェブサイトをGoogleCloudStorageに移動したいと考えています。ただし、その既存のWebサイトは、過去に数回URL構造を変更しています。これらの変更は現在Apacheによって処理されています。たとえば、URL/days/000233.htmlは/days / new-post-nameにリダイレクトされ、/ days/new-post-nameは/days/ 2002/01/01/newにリダイレクトされます。 -投稿名。同様に、/index.rssは/feed.xmlなどにリダイレクトします。

同じバケット内の別のGCSオブジェクトへの「シンボリックリンク」として機能するようにGCSでオブジェクトをマークする方法はありますか？つまり、Webサイト構成をバケットに追加するときに、オブジェクトを要求すると（理想的には）別のオブジェクトへの301リダイレクトヘッダーが生成されますか、それとも（あまり理想的ではありませんが）他のオブジェクトのコンテンツを独自のものとして提供しますか？

各URLでオブジェクトを単純に複製したくないのは、ストレージスペースが3倍になるためです。また、リダイレクトされたオブジェクトの一部はHTMLドキュメントではないため（画像またはRSSフィードであるため）、オブジェクトコンテンツ内でメタリフレッシュヘッダーを使用することはできません。同様の理由で、JavaScriptを使用してNotFound404.html内でこれを処理することはできません。

Google App Engine アプリケーションを通過する大きなファイル ( >500MB )をGoogle Cloud Storageにアップロードする方法があるかどうか知りたい: GAE サーブレットの制限 (実行時間 <=60s ）。

それは正しいですか、それとも何か新しいトリックを知っていますか?