問題タブ [google-cloud-bigtable]

アプリ エンジン サーブレットでクラウド bigtable に書き込もうとしています。https://github.com/GoogleCloudPlatform/cloud-bigtable-examples/blob/master/java/managed-vm-gae/gae-bigtable-hello/src/main/java/com.example.cloudから BigTableHelper をコピーしました.bigtable.helloworld/BigtableHelper.java、そして私のサーブレットでは、単に次のことを行いました。

put がエラーで失敗しました。

java.io.IOException: 操作の実行に失敗しました。Operation='put', projectId='myprojectid', tableName='test_table', rowKey='row1' at com.google.cloud.bigtable.hbase.BigtableTable.put(BigtableTable.java:288) at ...

原因: com.google.bigtable.repackaged.com.google.common.util.concurrent.UncheckedExecutionException: io.grpc.StatusRuntimeException: UNKNOWN at io.grpc.stub.Calls.getUnchecked(Calls.java:117) at io. com.google.cloud.bigtable.grpc.BigtableGrpcClient.mutateRow(BigtableGrpcClient.java:210) の grpc.stub.Calls.blockingUnaryCall(Calls.java:129) com.google.cloud.bigtable.hbase.BigtableTable.put( BigtableTable.java:285) ... 32 続き

原因: io.grpc.StatusRuntimeException: io.grpc.ChannelImpl の io.grpc.Status.asRuntimeException(Status.java:428) で不明$CallImpl$ClientStreamListenerImpl$3.run(ChannelImpl.java:402) で io.grpc.SerializingExecutor$TaskRunner.run(SerializingExecutor.java:154) で java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) で java .util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) ... 1 つ以上

原因: java.nio.channels.ClosedChannelException

BigtableHelper.getConnection() は例外をスローしませんでした。正常に接続されたと思います。put ステートメントに何か問題がありますか? この問題の原因は何ですか? ありがとう！

Google の BigTable の行キー値に最大長があるかどうかを知りたいです。

ドキュメントでは、同じ長さのキーを作成するための潜在的な解決策としてハッシュを推奨していることは承知していますが、私のシナリオでは、キーにファイル パスを含めると、関連するデータをより適切にグループ化できます。

Google では、BigTable (Google Cloud Platform で「Cloud Bigtable」と呼ばれる製品としてホストされている) を使用してアプリを開発できるようになりました。ただし、スキーマを設計する方法の例があまり見つかりません。ドキュメントがありますが、非常に高レベルです: https://cloud.google.com/bigtable/docs/schema-design

私の質問: gmail のおおよそのスキーマは何ですか (メーリング リスト コンポーネントのみ)。背の高いデザインですか、それとも広いデザインですか？主キーには何を使用しますか?

大きなアプリからの他の製品の例は高く評価されますが、Gmail は素晴らしい例になると思います.

DataFlow パイプラインを実行すると、たまに例外が表示されます。それらについて私たちができることはありますか？GCS のファイルから読み取り、入力ファイルの行ごとにレコードを作成する非常に単純なフローがあります。入力ファイルの約 100 万行です。

また、パイプライン内のデータはどうなりますか? 再処理ですか？それとも、BigTable への転送中に失われますか?

コードを強化するためにできることはありますか?

そして、データフロー自体は非常に単純です

次のParDoようになります。

また、これは時々ポップアップしています。

また、Google SDK クラスでも同じことが起こっているように見えます-特に負荷がかかっている場合-つまり、Dataflow job 2015-09-10_10_26_26-7782438171725519247

これらの例外に関するアドバイスはありますか? ありがとう！

次の要件に基づいて、さまざまなシステム ログファイルを分析するという課題に直面しています。

• 数百のシステム
• さまざまな形式の毎日の数百万のログ

他の多くの目標に加えて、私の最大の課題は、現在のすべてのシステム ログと部分的に履歴のログ イベントのすべての受信ログのリアルタイム相関分析です。

現在、この課題に対応するために、MongoDB、ElasticSearch、Hadoop などに焦点を当てています。

一方で、Google Bigtable と Bigquery に関する興味深い記事を読みました。

私の質問は、このリアルタイム分析を行うために、Bigtable や Bigquery は検討する価値のあるソリューションですか?

私はこれら 2 つの製品の経験がないので、これらの Google ソリューションが私の要件の代替になるかどうかのヒントを期待しています.

THX & BR 駆動

編集：

広すぎます。作成する必要がある実際の分析を示す必要があります。bigquery は、nosql を使用した自作よりもはるかに安価です

私たちの目標は、現在のログ イベント (または異なるログ イベントの組み合わせ) と他のシステムの動作に対する過去の相互作用に基づいて警告を生成できるシステムを開発することです。

したがって、膨大な量の構造化されていない履歴データに対して、現在のイベントの相関分析を高速に実行できなければなりません。

この要件の説明がおそらく最も具体的なものではないことはわかっていますが、私たちはこのプロジェクトのまさに始まりにいます。したがって、この質問に対する私の目標は、Bigtable / Bigquery を詳しく検討する必要があるかどうかについて、次のチーム ミーティングでいくつかの議論を得ることです。

Hadoop 2 (HBase 1.0.2 クライアント) ( https://github.com/thinkaurelius/titan/wiki/Downloadsで入手可能) で Titan 1.0.0 に接続しようとしています。その HBase クライアントを使用して、Google Cloud Bigtable サービスを使用しています。

この手順に従って、GCE インスタンスの HBase シェルから Bigtable に正常に接続できました。これはテンプレートによるもので、 (Oracle JDK SE 1.8.0_60)hbase-site.xml用の Bigtable jar をダウンロードしました。ALPN_VERSION=8.1.5.v20150921

次に、ディレクトリにコピーhbase-site.xmlしtitan-1.0.0-hadoop2/conf、Bigtable jar をtitan-1.0.0-hadoop2/libフォルダーにコピーしました。

次に、titan-1.0.0-hadoop2フォルダーで./run/gremlin.sh、コンソールを実行して開始します。

したがって、HBase クライアント (Bigtable クラスターを指すように構成) を使用して接続を作成しようとすると...

...Gremlin コンソールで次の例外が発生します。

スタック トレースは次のとおりです。

他のコンテキストで同じ例外を持つ他の質問を見つけました: HBase REST api を使用して Google Bigtable に接続できません。
そのパッチは、Titan で発生しているこの例外も解決しますか?