問題タブ [google-cloud-bigtable]

プロジェクトに Google Cloud BigTable クラスタをセットアップしました。プロジェクトのメイン コードベースは、標準の Python App Engine 環境内で実行されます。この環境では、grpcio に依存しているため、gcloud-python ライブラリを使用できません。これを回避するために、同じプロジェクト内に Python App Engine フレキシブル環境サービスをセットアップし、その上で実行する非常に単純な Flask サーバーを作成しました。これを標準環境から実行できます。コードは次のようになります。

このコードをローカルで実行でき、うまく機能します。それを自分のサービスにデプロイでき、引き続きうまく機能します。ただし、サービスが一定期間アイドル状態になっている場合 (通常、約 1 時間後に気が付きました)、すべてのリクエストが次のエラーで失敗し始めます。

サービスを再デプロイすると、再び機能し始めます。サービスをローカルで実行している場合、この動作は観察されません。

私は何を間違っていますか？クライアントの設定に誤りがあり、アプリ エンジンの資格情報が適切に使用されていないと思います。このエラーが発生した場合、クライアントを強制終了して再起動する必要がありますか?

I've a google big table instance that need to be populate with data that are in a Postgres Database. My product team give a URL's that allow me to replicate the database. So using simple words I need to duplicate the Postgres database into the google instance and the way that my product team give me is using this url, how can I do this? any tutorial that can help me?

BigTable に行を挿入するために Dataflow ジョブを作成しようとしていますが、Dataflow ジョブをローカルでテストしているときに、次のエラーが発生します。

あなたは私のメインコードを見つけることができます：

別の試みは、次のコードで行われました。

しかし、同じエラーが発生しました。

私は何か間違ったことをしていますか？

編集：

完全なエラー:

pom.xml:

仕事にデータフローを使用して、データをビッグテーブルに書き込んでいます。
現在、ビッグテーブルから行を読み取るタスクがあります。
ただし、bigtable-hbase-dataflow を使用して bigtable から行を読み取ろうとすると、失敗し、次のように不平を言います。

現在、「com.google.cloud.dataflow:google-cloud-dataflow-java-sdk-all:1.6.0」と「com.google.cloud.bigtable:bigtable-hbase-dataflow:0.9.0」を使用しています。

これが私のコードです。

参考までに、Bigtable から読み取り、テスト DoFn でアグリゲーターを使用して行をカウントするだけです。

データフロードキュメントのチュートリアルに従いましたが、失敗します。誰でも私を助けることができますか？

したがって、Bigtable に次のデータがあるとします。

SFO* レコードなどを照会するにはどうすればよいですか? ドキュメントを読みました。単一の行を取得する方法を知っています。これに似たもの：

または、範囲を取得する方法。getRows("SFO_8686", "SFO _8687")which はstartKeyandを取り込むようなものですendKeyが、ドキュメントを読んで、プレフィックスで始まるレコードを取得できると信じ込まされました。SFO* の例。それ、どうやったら出来るの？

gcloud beta emulators の bigtable エミュレータを使用しようとしています。エミュレーターを起動し、ホスト名 (localhost) とポート (この例では 8885) を取得します。

gcloud ベータ版エミュレーター bigtable 開始

実行: /usr/local/Caskroom/google-cloud-sdk/latest/google-cloud-sdk/platform/bigtable-emulator/cbtemulator --host=localhost --port=8885

私はJavaテストクライアントからエミュレータに接続しようとしています.ここに私が提供するものがあります:

テストコードを実行すると、次のようになります。

私はライブラリを使用しています：com.google.cloud.bigtable:bigtable-hbase-1.2:0.9.1

私が間違っていることについて何か考えはありますか？

ありがとう ！

単一の列ファミリーを持つテーブルを作成しようとしています (Java クライアント ライブラリ 0.9.1 を使用して Google Cloud Bigtable エミュレーターをターゲットにしています)。

私の問題は、テーブルを作成した後、取得された記述子にEODファミリが含まれないことです。したがって、その列ファミリーにデータを格納する呼び出しはすべて失敗します。

何か不足していますか、それともエミュレータの制限ですか?