問題タブ [google-cloud-bigtable]

現在、 Google Cloud Bigtableを利用できるのはゾーン内のみであり、リージョン内ではありません。

Cloud Bigtable は透過的なメンテナンスや、リージョン内の別のゾーンへのライブ マイグレーションをサポートしていますか?

そうでない場合、Cloud Bigtable を使用するアプリケーションの統合テストのベスト プラクティスを記載したドキュメントはありますか? 具体的には、Java および Python で作成されたアプリケーションです。

参照: https://cloud.google.com/datastore/docs/tools/devserver

Spark (dataproc) でデータ分析を行う目的で、現在 Bigtable に保存されているかなり小さなデータセット (5 ~ GB、150 万行) があり、HBase API (Scala) を介してアクセスします。

ただし、予算も限られているため、Bigtable のコストはかなり高い (2 ~ USD/時間) ため、必要なときにいつでも Bigtable クラスターを削除して再作成することになりました。

明らかな欠点は、データの性質上、新しいクラスターを作成するのにかなりの時間がかかることです。すべてが JSON として 1 つの大きなテキスト ファイルに保存され、クラスターにデータを入力するのに 40~ 分かかります。

だから私が求めているのは、ある種のバックアップ/スナップショットルーチンを実装するなど、これを実行するためのより良い方法があるかどうかです? または、単に Bigtable をまったく使用していません。Google Cloud プラットフォームで他の HDFS の代替手段を見つけることができませんでした。

私は Hadoop とビッグ データの世界にかなり慣れていないので、明らかなことを見逃している場合は無知であることをお許しください。

この問題についてウェブ上で多くを見つけることができませんでしたが...

Google のクラウド サービスで新しい BigTable クラスタをセットアップしています。ほとんどの Google API で行うすべてのプロセス (サービス アカウントの作成、プロジェクト ID の確認、gcloud ツールによる認証、Google 環境変数の設定など) を確認しました。

セットアップを行った後でも問題が発生しています。次のエラーが表示されます。ウェブ上で何も見つかりません。

エラーを含む完全な印刷物を次に示します。テーブルを作成しようとしたときにも同じエラーが発生することに注意してください。

誰かがこれを手伝ってくれるとしたら、それは素晴らしいことです。どうすればいいのかわからず、何も見つかりません。明らかに、認証に関するものです。私のキーファイルは新鮮で、適切な場所にあり、gcloud auth を実行しましたが、他に何を確認すればよいかわかりません。

回答に役立つ情報をこれ以上提供できるかどうかお知らせください。

3 時間ごとに 20 GB のデータ ファイルなどのパターンを Bigtable に一括読み込みする最適な方法は何ですか? Dataflow はこれに適していますか?

Dataflow を使用した Bigtable の一括読み込みに関する問題は..

Dataflow QPS が Bigtable (5 ノード) の QPS と一致していないようです。Dataflow を使用して 20 GB のファイルを bigtable に読み込もうとしています。bigtable に取り込むのに 4 時間かかります。また、実行中にこの警告が表示され続けます..

コード：

CreatePutsFn:

ここで何か助けていただければ幸いです。ありがとう

Google Cloud Bigtable チュートリアルに従おうとしています。

quickstart.sh が起動してプロンプトが表示されるところまで到達しましたが、どのコマンドでもハングします。私は試しlistてみcreateました。

Bigable で認証する別の方法を探しています。デフォルトのアプローチには、私が懸念する環境変数が含まれます。

GoogleCredentialクラスを見つけました。fromStreamでjsonキーファイルを読み込めますが、新しいインスタンスの使い方はGoogleCredential. する方法はありませんsetApplicationDefault()。どうにかしてオーバーライドする必要があります。

HBase コードは について何も知りませんGoogleCredential。