問題タブ [google-cloud-python]

私はデータストアの初心者です。非GAEアプリケーションに使用します。

私は自分のユースケースにより良い設計を求めています。

クエリのサポートを向上させるために、複数の種類でフラット化して格納することにより、ネストされた集計データの下に格納します。

5種類収納しています。すべての種類は、祖先キーとして別の種類に関連付けられます。

種類: ドメイン

種類：イベント

種類：属性

種類: 属性値

種類: ユーザー

'evt_datetime' プロパティをすべての種類に追加しました。これがプライマリ フィルター キーになるからです。

すべてのプロパティにインデックスを設定して任意のプロパティ フィルターを有効にしましたが、1 つのプロパティ制限に対する 1 つの不等式フィルターが原因で一時停止しました。

ご覧のとおり、(>、<、>=、<=) のいずれかで evt_datetime と evt_count の両方をフィルタリングすることはできません。

これらのスキーマを複数のフィルターまたは種類のないクエリを使用するように設計するより良い方法はありますか?

私は python (BigQuery および Cloud Storage とやり取りする) を数か月間使用しており、最近では同様のタスクに Datalab を使用しています。gcloud (別名gcloud-python ) パッケージと、データラボの例で使用されているgcpパッケージの違いを明確にしていただければ幸いです。Datalab は gcloud を認識していないようです (インポートしようとすると、「ImportError: No module named gcloud」という結果になります)。

更新:私のプロジェクトの開発者は、過去 1 年間、さまざまな Python パッケージを使用して Google Cloud Platform を操作してきました。一部のパッケージは不安定でしたが、その後のリリースで改善されました。場合によっては、これらのパッケージ内の機能が重複しているため、標準化するパッケージに関する専門家の意見、および/またはどのパッケージがどのユースケースに最も適しているかについての推奨事項を探しています.

• Google クラウド プラットフォームgcloud-python
• Cloud Datalab gcp
• Python 用 Google API クライアント ライブラリ
• ぼと

特に、gcloud-python が不安定だった時期には boto を使用しましたが、AWS へのアクセスをサポートする必要がない場合は、boto ではなく Google 固有のライブラリを使用する方がよいと考えています。 boto の使用について説明/推奨(?)しているこのページは、活発に維持されているようです。それは、それが好ましい代替手段であることを意味するのでしょうか?

これが適切な SO の質問でない場合は、削除します。

ここの例は古いhttps://googlecloudplatform.github.io/gcloud-python/stable/bigquery-usage.html#exporting-data-asyncです。この例ではエラーが発生します: AttributeError: 'Table' object has no attribute 'export_to_storage'

gcloud-python v.0.8.0 で BigQuery テーブルを CSV/JSON 形式で Google Cloud Storage に抽出するジョブを作成して実行するにはどうすればよいですか?

ありがとう

gcloud-python で接続を閉じる方法はありますか? 現在、接続が確立されているようで、接続が完了すると、そこに座っCLOSE_WAITて最終的にタイムアウトします。どんな助けでも大歓迎です。ありがとう！

背景: GCS への書き込みを行う POST リクエストが着信したときに新しい接続を開くサーバーを実行しています。を見るとnetstat、 には最大 40 の接続 (すべて Google へ) がありCLOSE_WAITます。

編集：ドキュメントに目を通しましたが、何も飛び出していないようです

私は Jenkins を初めて使用し、Jenkins ジョブをスケジュールして Python 単体テストを実行しようとしています。テストされているモジュールは importですが、Jenkins ジョブを実行しようとするとgcloud.datastoreエラーが発生します。No module named gcloud.datastorejenkins 用の GCloud SDK プラグインをインストールしましたが、問題の解決方法がわかりません。

Jenkins で以下を実行しBuild->Virtualenv Builderて、テストの依存関係をインストールしてから実行しています。(単体テストを実行するためのより良い方法があると確信していますが、後でそれに取り組みます。)

実行時にエラーが発生しますrun_test.py。GCloud SDK は pip を使用してインストールできないため、requirements.txtファイルに配置しても機能しないため、これを行う方法がわかりません。

VM のディレクトリに GCloud SDK がインストールされていますが/vagrant/google-cloud-sdk/bin/gcloud、Jenkins は気にしていないようです。

補足として、テスト自体はデータストアにアクセスするメソッドを模倣しているため、gcloud.datastoreライブラリは使用されていませんが、プロジェクト自体には必要です。

OR条件でクエリを構築する方法がないようです。誰かがこの問題に遭遇したか、これがいつ行われるか、または回避策を知っていますか?

ORでこのようなことを達成したい：

ただし、このフィルターは OR ではなく AND として機能します。

Ubuntu 15.10 と docker 1.10.1 を実行している Google Compute Engine インスタンスがあります。インスタンスで gcloud-python から Google Datastore にアクセスしようとすると、すべて正常に動作します。に基づいて docker コンテナー内からアクセスしようとすると、python:3.5常に 503 エラーが発生します。完全なスタックトレースは次のとおりです。

ここで何が起こっているのか、誰か教えてもらえますか?

google bigqueryのgcloud ドキュメントでは、認証は from_service_account_json から判断できると記載されています。

私は次のことを試しました

json ファイルは次のようになります (注: 資格情報がスクランブルされているため、これらは偽物です)。

以下のエラーが表示されます。

json資格情報ファイルを誤って作成した可能性があると思いますが、それがどのように作成されるのかわかりません。

また、Google から json ファイルをダウンロードしようとしましたが、次のエラーが発生しました。

p12ファイルのダウンロードも試しました

bigquery.Client.from_service_account_p12('chris@curalate.com','/Users/Chris/Desktop/Shippy-e824e0396911.p12')

次に、以下のエラーが表示されます。

私は竜巻と公式の python oauth2client、gcloud ... モジュールと戦っています。

これらのモジュールは、http リクエストを Google に送信する必要があるとき、および/または更新を使用してアクセス トークンを更新する必要があるときはいつでも、これらのライブラリのいずれかによって呼び出すことができるメソッドが呼び出される限り、http= で渡された代替 http クライアントを受け入れますrequest。トークン。

メソッドにself.client = AsyncHttpClient() Then が含まれている単純なクラスを作成しました。requestself.client.fetch(...)

私の目標は、トルネードがそれらを非同期yieldで実行できるように、これらのライブラリ呼び出しのいずれかを実行できるようにすることです。

問題は、デフォルトのクライアント (httplib2.Http() に設定) が返すものに大きく依存していることです: (応答、コンテンツ)

私は本当に立ち往生しており、これを非同期にするきれいな方法を見つけることができません

誰かがすでに方法を見つけた場合は、助けてください。

前もって感謝します