問題タブ [google-cloud-bigtable]

キャンペーン/広告分析 (doubleclik やその他の広告サーバー データを DW に取り込む) のためのソリューションを GCP 上に構築することを検討しています。データはスター スキーマを使用してバッチとして取り込まれますが、最大 1 週間にわたって更新が少しずつ行われ、複数のクライアント (広告主) の傾向分析とレポートが必要になります。更新と時系列分析をサポートする Google Big table と、スター スキーマとアドホック分析に最適な Big Query のどちらかを決めることができません。

助言がありますか？パフォーマンスと柔軟性が重要です。

データフロー ジョブを実行して、データを google-project-1-table から google-project-2-table に移行したいと考えています。(一方から読み取り、他方に書き込みます)。それをしている間、許可の問題が発生しています。project-1 の資格情報ファイルを指すように「GOOGLE_APPLICATION_CREDENTIALS」を設定しました。project-2 では、project-1 のパーミッション/ロールを以下に示します。1) サービス アカウント (役割 - 編集者) 2) -compute@developer.gserviceaccount.com (役割 - 編集者) 3) @cloudservices.gserviceaccount.com (役割 - 編集者)。

ジョブを実行するために他に必要なことはありますか?

原因: com.google.bigtable.repackaged.com.google.cloud.grpc.io.IOExceptionWithStatus: com.google.bigtable.repackaged.com.google.cloud.grpc.scanner.ResultQueueEntry$ExceptionResultQueueEntry の応答ストリームでエラーが発生しました。 getResponseOrThrow(ResultQueueEntry.java:66) com.google.bigtable.repackaged.com.google.cloud.grpc.scanner.ResponseQueueReader.getNextMergedRow(ResponseQueueReader.java:55) com.google.bigtable.repackaged.com.google. cloud.grpc.scanner.StreamingBigtableResultScanner.next(StreamingBigtableResultScanner.java:42) at com.google.bigtable.repackaged.com.google.cloud.grpc.scanner.StreamingBigtableResultScanner.next(StreamingBigtableResultScanner.java:27) at com.google. bigtable.repackaged.com.google.cloud.grpc.scanner.ResumingStreamingResultScanner.next(ResumingStreamingResultScanner.java:89) com.google.bigtable.repackaged.com.google.cloud.grpc.scanner.ResumingStreamingResultScanner.next(ResumingStreamingResultScanner.java:45) で com.google.cloud.bigtable.dataflow.CloudBigtableIO$1.next(CloudBigtableIO) で.java:221) com.google.cloud.bigtable.dataflow.CloudBigtableIO$1.next(CloudBigtableIO.java:216) で com.google.cloud.bigtable.dataflow.CloudBigtableIO$Reader.advance(CloudBigtableIO.java:775) でcom.google.cloud.bigtable.dataflow.CloudBigtableIO$Reader.start(CloudBigtableIO.java:799) で com.google.cloud.dataflow.sdk.io.Read$Bounded$1.evaluateReadHelper(Read.java:178) で。 .. 18 以上 原因: com.google.bigtable.repackaged.io.grpc.StatusRuntimeException: PERMISSION_DENIED: ユーザーはプロジェクトにアクセスできません: project-2 at com.google.bigtable.repackaged.io.grpc.Status.asRuntimeException(Status.java:431) com.google.bigtable.repackaged.com.google.cloud.grpc.scanner.StreamObserverAdapter.onClose(StreamObserverAdapter.java:48) で com.google.bigtable. repackaged.io.grpc.internal.ClientCallImpl$ClientStreamListenerImpl$3.runInContext(ClientCallImpl.java:462) com.google.bigtable.repackaged.io.grpc.internal.ContextRunnable.run(ContextRunnable.java:54) で com.google .bigtable.repackaged.io.grpc.internal.SerializingExecutor$TaskRunner.run(SerializingExecutor.java:154) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker .run(ThreadPoolExecutor.java:617) ... 1 つ以上com.google.cloud.grpc.scanner.StreamObserverAdapter.onClose(StreamObserverAdapter.java:48) com.google.bigtable.repackaged.io.grpc.internal.ClientCallImpl$ClientStreamListenerImpl$3.runInContext(ClientCallImpl.java:462) で.google.bigtable.repackaged.io.grpc.internal.ContextRunnable.run(ContextRunnable.java:54) at com.google.bigtable.repackaged.io.grpc.internal.SerializingExecutor$TaskRunner.run(SerializingExecutor.java:154) java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) ... 1 以上com.google.cloud.grpc.scanner.StreamObserverAdapter.onClose(StreamObserverAdapter.java:48) com.google.bigtable.repackaged.io.grpc.internal.ClientCallImpl$ClientStreamListenerImpl$3.runInContext(ClientCallImpl.java:462) で.google.bigtable.repackaged.io.grpc.internal.ContextRunnable.run(ContextRunnable.java:54) at com.google.bigtable.repackaged.io.grpc.internal.SerializingExecutor$TaskRunner.run(SerializingExecutor.java:154) java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) ... 1 以上ClientCallImpl$ClientStreamListenerImpl$3.runInContext(ClientCallImpl.java:462) at com.google.bigtable.repackaged.io.grpc.internal.ContextRunnable.run(ContextRunnable.java:54) at com.google.bigtable.repackaged.io.grpc .internal.SerializingExecutor$TaskRunner.run(SerializingExecutor.java:154) で java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) で java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) ） ... あともう1つClientCallImpl$ClientStreamListenerImpl$3.runInContext(ClientCallImpl.java:462) at com.google.bigtable.repackaged.io.grpc.internal.ContextRunnable.run(ContextRunnable.java:54) at com.google.bigtable.repackaged.io.grpc .internal.SerializingExecutor$TaskRunner.run(SerializingExecutor.java:154) で java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) で java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) ） ... あともう1つrunWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) ... 1 つ以上runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) ... 1 つ以上

https://cloud.google.com/bigtable/docs/go/cbt-reference

このリファレンスのように、次のコマンドを試しました

3 つの異なるテーブル用。

そのうちの 1 つについては、期待どおりの結果が得られました。行数は、1M に少し恥ずかしがり屋です。

2 番目のテーブルでは、次のエラーが発生しました。

何度か試しましたが、毎回同じエラーが発生しました。

最後のエラーについては、別のエラーが発生しました (エラー コードは上記と同じですが、その説明は異なります)。

これも何度か試しましたが、何も変わりませんでした。

「rpc エラー コード 4」をキーワードとして、stackoverflow でググって検索しましたが、有用なものは見つかりませんでした。

このコマンドが失敗する理由と、これを解決するために私ができることを本当に知りたいです (ちなみに、これらの 2 つのテーブルは 24 時間年中無休で運用されており、数十の大きなテーブル ノードが正常に動作しているため、帯域幅や QPS と関係があるとは思わないでください)。

どんな助けでも本当に感謝します。

Google Cloud Dataproc クラスタで Spark を使用しており、PySpark ジョブで Bigtable にアクセスしたいと考えています。Google BigQuery コネクタのような Spark 用の Bigtable コネクタはありますか?

PySpark アプリケーションから Bigtable にアクセスするにはどうすればよいですか?

Bigtable に 30 TB の単一の (履歴) テーブルを構築しようとしています。200 GB の 1 日 1 回のバッチ ロードと、キー範囲内のバッチ クエリが時折発生することを期待しています。Bigtable のノードあたりの TB 数について、どのようなガイダンスがありますか? ノードごとに 1 TB を使用できることを提案する Cassandra の斜めの投稿と、HBase ノードごとに 6 ～ 12 TB を提案する他のいくつかの投稿を読みました。Google Bigtable ドキュメントに明確なガイダンスが見つかりません。

Google Bigtable Python クライアントライブラリはまだアルファ版です。つまり、将来の変更は下位互換性がなく、SLA もない可能性があります。

ライブラリがいつ製品サポートを利用できるようになるか知っている人はいますか?

より多くの文脈を与えるために、

1. Bigtable と Datastore について議論しています。そして、私は C++ と Python に精通しています。
2. 構築するサービスは、ユーザーが投稿を書き、タグを追加できることです。ユーザーは、特定のユーザーまたはタグの投稿を検索またはフィルタリングできます。Bigtable は優れた選択肢のようです (ユーザー ID を行キーとして、タグを列ファミリーとして)。しかし、python クライアント ライブラリは懸念事項です。

事前にご回答いただきありがとうございます。

この質問に答えている公式ページはありますか? 2016 年 11 月に、Java Bigtable コードを実行しようとしましたが、ローカル開発サーバーと実際のリモート インスタンスの両方で失敗しました。

両方のライブラリの異なるバージョンを試しました。Appengine は、JMX の使用またはスレッドの実行について不平を言います。どちらの場合も、これらのテクノロジー/API の使用法は非常に内部的なものであり、接続の確立などのために Bigtable クライアント コアによって使用されます。

SQL Alchemy は、Google Cloud SQL で実行されている MySQL テーブルに接続できるようです。しかし、NoSQL データベースである Google Cloud Bigtable のラッパーを探すのに時間を費やしましたが、十分に成熟したものを見つけることができませんでした。

SQL Alchemy から Google Cloud Bigtable を管理する方法を知りたいです。

Google Cloud のサンプル コードには、hbase テーブル スキャン API が 2 つあります。

1) google.cloud モジュール bigtable オブジェクトの使用 https://github.com/GoogleCloudPlatform/python-docs-samples/blob/master/bigtable/hello/main.py

2) google.cloud モジュールの bigtable と happybase オブジェクトを使用する https://github.com/GoogleCloudPlatform/python-docs-samples/blob/master/bigtable/hello_happybase/main.py

これら 2 つのメカニズムのうち、BigTable をスキャンするための推奨されるアプローチはどれですか?

また、それらは PySpark からの使用に適していますか?