問題タブ [gcloud-python]

特定の名前空間に属するすべてのエンティティを取得しようとしています。クエリは非常に単純です

ただし、これを実行すると、保存しているデータの一部ではない内部の種類に属するキーが返されます。たとえば、この種類に属するエンティティを取得します。

これを防ぐ方法を知っていますか？これらを除外するようにクエリを絞り込むことはできますか?

App Engine でオフセットやカーソルを使用する方法を誰かが説明してくれることを期待していました。巨大なデータ移行のためにエンティティにリモート アクセスするために使用gcloudしており、100 個のバッチでデータを取得したいと考えています。

これを行うには非常に簡単な方法があると思いますが、ドキュメントではカーソルについてあまり詳しく説明されていません。これが私がこれまでに持っているものです：

その 100 個のバッチの終わりをマークしてから、次のバッチに移動するにはどうすればよいでしょうか? 本当にありがとう！

編集：

私はアプリ エンジン環境にアクセスできないことを言及しておく必要があります。そのため、現時点では少し迷っています... :(

gcloudv0.7.1を使用するスクリプトがあります。実行するとすぐに、次のエラーが表示されます。

私が知る限り、私oauth2clientがpip install oauth2client==1.5.0. これは、私の Vagrant ボックス (CentOS 6.6、Python v 2.7.10、pip v7.1.2 を実行) でのみ発生します。Vagrantボックスの外にいるとき、このエラーは発生しません。

pip show oauth2client（Vagrant ボックス内から）次の結果が得られます。

ただし、次のコマンドを使用して Python から確認すると、別のバージョン番号が返されます
python -c "import oauth2client; print oauth2client.__version__; print oauth2client.__file__"。

import sys; print sys.path収量:

v1.5.0 が使用されていることを確認するにはどうすればよいですか?

私は 1種類のエンティティのコレクションを持っています。これらのエンティティのpという名前の 1 つのプロパティの個別の値を抽出する必要があります。

GQL では、次のようにします。

SELECT DISTINCT p from kind

ただし、gcloud-pythonライブラリでは、 GQL クエリはまだ実装されていません ( issue-304を参照)。

gcloud-python で現在利用可能なツールを使用してそれを行うにはどうすればよいですか? 「グループ化」の回避策を知っていますが、パフォーマンスはひどいものです。

1500 バイトを超えるフィールドを持つエンティティを埋め込もうとしています。ドキュメントに基づいて、そのフィールドをインデックスから除外することをお勧めします。1MB を許可する必要があります。

そのフィールドを埋め込みエンティティの exclude_from_indexes キーに追加します。親エンティティを保存しようとすると、フィールドが 1500 バイトを超えていることがわかります。埋め込まれたエンティティを個別に保存すると、機能します。

埋め込みエンティティで exclude_from_indexes は無視されますか?

私はデータストアの初心者です。非GAEアプリケーションに使用します。

私は自分のユースケースにより良い設計を求めています。

クエリのサポートを向上させるために、複数の種類でフラット化して格納することにより、ネストされた集計データの下に格納します。

5種類収納しています。すべての種類は、祖先キーとして別の種類に関連付けられます。

種類: ドメイン

種類：イベント

種類：属性

種類: 属性値

種類: ユーザー

'evt_datetime' プロパティをすべての種類に追加しました。これがプライマリ フィルター キーになるからです。

すべてのプロパティにインデックスを設定して任意のプロパティ フィルターを有効にしましたが、1 つのプロパティ制限に対する 1 つの不等式フィルターが原因で一時停止しました。

ご覧のとおり、(>、<、>=、<=) のいずれかで evt_datetime と evt_count の両方をフィルタリングすることはできません。

これらのスキーマを複数のフィルターまたは種類のないクエリを使用するように設計するより良い方法はありますか?

私は python (BigQuery および Cloud Storage とやり取りする) を数か月間使用しており、最近では同様のタスクに Datalab を使用しています。gcloud (別名gcloud-python ) パッケージと、データラボの例で使用されているgcpパッケージの違いを明確にしていただければ幸いです。Datalab は gcloud を認識していないようです (インポートしようとすると、「ImportError: No module named gcloud」という結果になります)。

更新:私のプロジェクトの開発者は、過去 1 年間、さまざまな Python パッケージを使用して Google Cloud Platform を操作してきました。一部のパッケージは不安定でしたが、その後のリリースで改善されました。場合によっては、これらのパッケージ内の機能が重複しているため、標準化するパッケージに関する専門家の意見、および/またはどのパッケージがどのユースケースに最も適しているかについての推奨事項を探しています.

• Google クラウド プラットフォームgcloud-python
• Cloud Datalab gcp
• Python 用 Google API クライアント ライブラリ
• ぼと

特に、gcloud-python が不安定だった時期には boto を使用しましたが、AWS へのアクセスをサポートする必要がない場合は、boto ではなく Google 固有のライブラリを使用する方がよいと考えています。 boto の使用について説明/推奨(?)しているこのページは、活発に維持されているようです。それは、それが好ましい代替手段であることを意味するのでしょうか?

これが適切な SO の質問でない場合は、削除します。

ここの例は古いhttps://googlecloudplatform.github.io/gcloud-python/stable/bigquery-usage.html#exporting-data-asyncです。この例ではエラーが発生します: AttributeError: 'Table' object has no attribute 'export_to_storage'

gcloud-python v.0.8.0 で BigQuery テーブルを CSV/JSON 形式で Google Cloud Storage に抽出するジョブを作成して実行するにはどうすればよいですか?

ありがとう