問題タブ [google-cloud-bigtable]

Cloud Dataflow が Cloud Bigtable にデータを書き込めるようにする計画はありますか? それは可能ですか？

IO を処理するためのカスタムを追加するSinkことは、おそらくクリーンな選択です。

回避策として、単純なDoFn. ステップで接続とテーブルを開き、startBundleで閉じますfinishBundle。

さらに、クラスパスに を追加し、ピックアップされるリソース フォルダーにbigtable-hbase jar (0.1.5)の修正版を追加しました。hbase-site.xml

クラウドで実行すると、NPN/ALPN extensions not installed例外が発生します。

ローカルで実行すると、生成された json キー ファイルにComputeEngineCredentials cannot find the metadata server.を設定したにもかかわらず、例外が発生します。GOOGLE_APPLICATION_CREDENTIALS

どんな助けでも大歓迎です。

Bigtable からデータをフィルタリングするためのフィルターを作成しようとしています。bigtable-hbaseドライバーと HBase ドライバーを使用しています。実際、ここに私の依存関係がありpom.xmlます：

次のようにデータをフィルタリングしています。

これは正常に動作します。しかし、その後、前のコードに次を追加します。

そして、それは私にこの例外を与えます:

だから私の質問は、長いデータ型をフィルタリングする方法ですか? hbase の問題ですか、それとも bigtable 固有ですか?

これを見つけましたHBaseでSingleColumnValueFilterを使用してカスタムコンパレータを使用するにはどうすればよいですか? しかし、jarをサーバーにロードできないため、私の場合には当てはまりません。

Cloud Bigtableサービスが提供する耐久性と可用性の保証について、Google の誰かにガイドラインを提供してもらいたいです。

これまでの私の理解は次のとおりです。

• 最小クラスターに 3 つのノードが必要であるという事実は、少なくともゾーン内では、データの耐久性が高く、3 つのノードにレプリケートされることを示唆しています。

• ただし、 Googler によるこの回答では、「Cloud Bigtable はデータを複製しません」と述べており、「複製されたストレージ戦略で構築されている」と主張するCloud Bigtable ホームページの引用と真っ向から矛盾しています。それで、それはどれですか？複製されているかどうか。もしそうなら、いくつのコピーが保管されていますか?

• クラスターは特定のゾーン内でしかセットアップできないという事実は、クラスターの可用性がそのゾーンの可用性に直接結びついていることを示唆しています。では、高可用性の Bigtable ベースのデータ ストレージが必要な場合、複数のゾーンにわたって独立したクラスターをセットアップし、クラスター全体の書き込みの同期を自分で処理するのがベスト プラクティスでしょうか?

ゾーン間の Bigtable クラスタが独立しているかどうかについての情報はありません。複数のゾーンにまたがるクラスターをセットアップし、1 つのゾーンがダウンした場合、他のゾーンのクラスターが機能し続けることを期待できますか? それとも、複数のゾーンにまたがってもクラスターに影響を与える可能性がある、根本的な単一障害点はありますか?

これらの詳細について非常に具体的な App Engine データストアと比較して、Cloud Bigtable のドキュメントはかなり不足しています。または、少なくとも、これらの側面について詳しく説明しているページを見つけることができませんでした。

Cloud Bigtableのドキュメントは、値のサイズ制限など、他の側面についても同様にあいまいです。ドキュメントでは、個々の値は「セルあたり最大 10 MB」未満に抑える必要があると記載されています。「~10 MB」とは一体何を意味するのでしょうか?! 正確に 10MB の制限をハードコードして、それが常に機能することを期待できますか?それとも未知の要因に応じて日々変化しますか?

とにかく、私が動揺しているように聞こえたら、申し訳ありません。Bigtable サービスを利用したいと思っています。しかし、おそらく他の多くの人と同じように、私はそれに投資する前に、その耐久性/可用性の側面を理解する必要があります. ありがとうございました。

BigTable がデータを圧縮する方法を調べています。

1.5GB を 1 つのテーブルにロードしました。1列を含む約50万行、平均して各セルは約3kbを保持します。さらなるテストでは、同様のサイズの同様のデータを含むこれらの行にさらに列が追加されます。

各セルのデータは現在、次のような辞書の JSON シリアル化配列 [平均で 10 個の要素] です。

BigTable コンソールは、クラスターが 1.2 GB を保持していることを示しています。このようにして、挿入した 1.5GB を元のサイズの約 80% に圧縮しました。ただし、セルに格納されている一般的な文字列を gzip すると、約 20% の圧縮率が得られます。

挿入するデータが多くの反復値 (辞書キーなど) を保持していることを考えると、BigTable のこの圧縮パフォーマンスは低いように思えます。BigTable が圧縮と速度のトレードオフであることは理解していますが、私のデータに対してより良いパフォーマンスが得られることを望んでいました。

上記のようなデータに対して 80% の圧縮率は問題ありませんか、それともそれよりも低い値が予想されますか? アップロードしているデータを改造する以外に、圧縮を改善するテクニックはありますか?

ありがとう！

ハイブを使用してシーケンス ファイルを生成し、それを bigtable にインポートしようとすると、インポート ジョブが次のエラーで失敗します。

シーケンス ファイルを生成するために、以下のハイブ テーブル定義とパラメーターを使用しています。

以下は、hbase create table ステートメントです。

AppEngine で実行されている Java クラスから接続を作成できないようです。

次のライブラリ/依存関係を使用します。

そして、次のコード行:

メソッドがConnectionFactory.createConnection()制限されたクラスを使用しようとしているようです。

これを GAE で使用する方法を説明していただけませんか?

devserver でローカルに実行すると、次のエラーが発生します。

以下のリンクで説明されている手順に従って、hbase シェルを起動できますが、これらすべての hbase コマンドがスローされます;エラー: NPN/ALPN 拡張機能がインストールされていません https://cloud.google.com/bigtable/docs/installing-hbase-client

1.7.0_60-b19 の Java バージョンがあり、ALPN 7.1.0.v20141016 を使用しました。

私は何が欠けていますか？

助けてくれてありがとう

simple-cli の例をローカル マシンで実行しようとしています。正常にコンパイルされますが、hbase-site.xml ではすべてが正しいように見えますが、次のエラーがスローされます。

これは、ローカルから hbase にアクセスできないことを意味しますか?