問題タブ [google-cloud-bigtable]

現在、Google Cloud Platform で HBase Cluster を実行していますが、Cloud Bigtable を使用するように切り替えたいのですが、どうすればよいですか?

Google Cloud Bigtableと Google Cloud Datastore / App Engine データストアの違いは何ですか?また、主な実用上の利点/欠点は何ですか? 私の知る限り、Cloud Datastore は Bigtable の上に構築されています。

Google Cloud BigTable はコプロセッサをサポートしていません。

コプロセッサーはサポートされていません。インターフェイス org.apache.hadoop.hbase.coprocessor を実装するクラスを作成することはできません。

https://cloud.google.com/bigtable/docs/hbase-differences

コプロセッサーでは、各タブレット (RS) ノードに顧客コード (jar) をデプロイする必要があることは理解できます。それでも、エンドポイント コプロセッサは、一部のシナリオでデータの局所性を確保するために、HBase アプリケーションにとって不可欠です。Apache Phoenix などの HBase 拡張機能は、セカンダリ インデックスを維持するために Observer コプロセッサに依存しているため、コプロセッサのサポートがないことが主な非互換領域のように思えます。

将来、コプロセッサーのサポートは可能ですか? BigTable タブレットでカスタム Java の「ストアド プロシージャ」を実行するための回避策はありますか?

更新 1: Apache Phoenix coprosessors のリスト:

• GroupedAggregateRegionObserver
• インデクサー
• MetaDataEndpointImpl
• MetaDataRegionObserver
• ScanRegionObserver
• SequenceRegionObserver
• ServerCachingEndpointImpl
• UngroupedAggregateRegionObserver

Google Cloud Bigtable は素晴らしく見えますが、バックアップと冗長性についていくつか質問があります。

人的エラーから保護するためにデータをバックアップするオプションはありますか?

クラスターは現在単一のゾーンで実行されています。ゾーンが利用できなくなることを軽減する方法はありますか?

BigTable のチュートリアルに従っています: https://cloud.google.com/bigtable/docs/hbase-shell-quickstart

Docker イメージを起動しようとすると、次のエラーが表示されます。

C:\dev\GoogleCloudBigtable-quickstart>docker run -it bigtable-hbase /bin/bash -c "hbase shell"

助言がありますか？

この例に従って、テスト スクリプト「python put_get_with_client.py」を実行すると、400 エラー (Bad Request) が発生します。

不正な要求 java.lang.ClassCastException: org.apache.hadoop.hbase.client.BigtableConnection を org.apache.hadoop.hbase.client.ConnectionManager.createConnection(ConnectionManager で org.apache.hadoop.hbase.client.ClusterConnection にキャストできません.java:410) org.apache.hadoop.hbase.client.ConnectionManager.createConnection(ConnectionManager.java:370) で org.apache.hadoop.hbase.client.HConnectionManager.createConnection(HConnectionManager.java:197) で org. org.apache.hadoop.hbase.rest の org.apache.hadoop.hbase.util.ConnectionCache.getAdmin(ConnectionCache.java:124) の apache.hadoop.hbase.util.ConnectionCache.getCurrentConnection(ConnectionCache.java:170)。 org.apache.hadoop.hbase.rest.RootResource.getTableList(RootResource.java:64) の RESTServlet.getAdmin(RESTServlet.java:102)。hbase.rest.RootResource.get(RootResource.java:80) で sun.reflect.NativeMethodAccessorImpl.invoke0(ネイティブ メソッド) で sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) で sun.reflect.DelegatingMethodAccessorImpl.invoke( DelegatingMethodAccessorImpl.java:43) の java.lang.reflect.Method.invoke(Method.java:606) の com.sun.jersey.spi.container.JavaMethodInvokerFactory$1.invoke(JavaMethodInvokerFactory.java:60) の com.sun. jersey.server.impl.model.method.dispatch.Abs​​tractResourceMethodDispatchProvider$ResponseOutInvoker._dispatch(AbstractResourceMethodDispatchProvider.java:205) at com.sun.jersey.server.impl.model.method.dispatch.ResourceJavaMethodDispatcher.dispatch(ResourceJavaMethodDispatcher.java:75) ) com.sun.jersey.server.impl.uri.rules.HttpMethodRule.accept(HttpMethodRule.java:288) com.sun.jersey.server.impl.uri.rules.ResourceClassRule.accept(ResourceClassRule.java:108) で com.sun.jersey.server.impl.uri.rules.RightHandPathRule.accept(RightHandPathRule. java:147) com.sun.jersey.server.impl.uri.rules.RootResourceClassesRule.accept(RootResourceClassesRule.java:84) で com.sun.jersey.server.impl.application.WebApplicationImpl._handleRequest(WebApplicationImpl.java: 1469) com.sun.jersey.server.impl.application.WebApplicationImpl._handleRequest(WebApplicationImpl.java:1400) で com.sun.jersey.server.impl.application.WebApplicationImpl.handleRequest(WebApplicationImpl.java:1349) で.sun.jersey.server.impl.application.WebApplicationImpl.handleRequest(WebApplicationImpl.java:1339) com.sun.jersey.spi.container.servlet.WebComponent.service(WebComponent.java:416) com.sun.jersey.spi.container.servlet.ServletContainer.service(ServletContainer.java:537) で com.sun.jersey.spi.container.servlet.ServletContainer.service(ServletContainer.java:699) で javax .servlet.http.HttpServlet.service(HttpServlet.java:820) at org.mortbay.jetty.servlet.ServletHolder.handle(ServletHolder.java:511) at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler) .java:1221) で org.apache.hadoop.hbase.rest.filter.GzipFilter.doFilter(GzipFilter.java:76) で org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1212) でorg.mortbay.jetty.servlet.ServletHandler.handle(ServletHandler.java:399) at org.mortbay.jetty.servlet.SessionHandler.handle(SessionHandler.java:182) at org.mortbay.jetty.security.SecurityHandler.org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:766) のハンドル (SecurityHandler.java:216) org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152) の org.mortbay .jetty.Server.handle(Server.java:326) で org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542) で org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928) でorg.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549) で org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212) で org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404) org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) で org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582) でorg.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:766) org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152) org.mortbay.jetty.Server.handle(Server.java: 326) org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542) で org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928) で org.mortbay.jetty.HttpParser.parseNext(HttpParser) .java:549) で org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212) で org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404) で org.mortbay.io.nio.SelectChannelEndPoint. run(SelectChannelEndPoint.java:410) at org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:766) org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152) org.mortbay.jetty.Server.handle(Server.java: 326) org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542) で org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928) で org.mortbay.jetty.HttpParser.parseNext(HttpParser) .java:549) で org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212) で org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404) で org.mortbay.io.nio.SelectChannelEndPoint. run(SelectChannelEndPoint.java:410) at org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152) org.mortbay.jetty.Server.handle(Server.java:326) org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542) org .mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928) で org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549) で org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212) ) org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404) で org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) で org.mortbay.thread.QueuedThreadPool$PoolThread.run( QueuedThreadPool.java:582)jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152) org.mortbay.jetty.Server.handle(Server.java:326) org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542) org .mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928) で org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549) で org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212) ) org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404) で org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) で org.mortbay.thread.QueuedThreadPool$PoolThread.run( QueuedThreadPool.java:582)org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928) での handleRequest(HttpConnection.java:542) org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549) で org.mortbay.jetty .HttpParser.parseAvailable(HttpParser.java:212) at org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404) at org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) at org. mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928) での handleRequest(HttpConnection.java:542) org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549) で org.mortbay.jetty .HttpParser.parseAvailable(HttpParser.java:212) at org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404) at org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) at org. mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)404) org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) で org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582) で404) org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) で org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582) で

では、BigtableConnection は ClusterConnection インターフェースを実装していないと思いますか? 例は正しいですか？

Google Cloud Bigtable は HIPAA 準拠のデータ リポジトリになりますか? 特に、ディスク暗号化をサポートしますか? また、他のユーザーと同時に保存されるデータの量は?

Google Bigtable クラスターを作成しました。このチュートリアルに従って接続 しようとしていますが、cli プロジェクトをダウンロードしてビルドしようとしましたが、コマンドを実行しようとすると失敗します。また、より簡単なコネクタの例を作成しようとしました。ここにあります：

しかし、ローカルマシンで実行すると、次の例外が発生します

と言いました：

ComputeEngineCredentials がメタデータ サーバーを見つけることができません。これは、コードが Google Compute Engine で実行されていないことが原因である可能性があります。

では、このコードは Compute Engine 内でしか実行できないということでしょうか? ローカル コンピューターから接続する方法はありますか? 誰にもこれの例はありますか？

この例に従って、ローカル マシンから Bigtable に接続しています。JDK 7 を使用してプロジェクトを実行している場合はすべて問題なく動作しますが、JDK 8 で実行している場合は次のようになります。

Java 8 の Sun ライブラリに変更があるようです。Java 8 でこのコードを実行するための回避策はありますか?