問題タブ [google-cloud-bigtable]

次のコードを使用して、データを Bigtable に入力しています。

30 個の Bigtable ノードがあり、私のデータ フロー ジョブは 100 個のワーカーで動作しています。プロセス全体で約 100 億行のデータを処理する必要があります。上記の構成では、ジョブの完了に 1 日以上かかりますが、これは理想的ではありません。

ジョブを少し速く実行できるコード レベルの提案があれば、Bigtable ノードの数を増やすことがオプションの 1 つであることは知っていますが、現在、ノードを増やす必要がない他のオプションを探しています。

Cloud Bigtable と BigQuery で 2 つのテーブルを結合することはできますか? Google でいろいろ検索しましたが、これに関連するものは見つかりませんでした。どんな助けでも大歓迎です。

Cloud Bigtable に接続しようとしています。ただし、netty-tcnative見つからないという問題が発生しています。

Maven の依存関係:

エラー出力:

Apache's BeamSDK バージョンを使用0.2.0-incubating-SNAPSHOT しており、ランナーを使用してデータをビッグテーブルにプルしようとしていますDataflow。残念ながら、シンクとしてNullPointerException使用しているデータフロー パイプラインを実行すると、エラーが発生します。BigTableIO.Writeすでにチェック済みBigtableOptionsで、必要に応じてパラメーターは問題ありません。

基本的に、私は作成し、パイプラインのある時点でPCollection<KV<ByteString, Iterable<Mutation>>>、目的のビッグテーブルに書き込むステップがあります。

パイプラインを実行すると、メソッドNullPointerExceptionで BigtableIO クラスを正確に指すが得られました。public void processElement(ProcessContext c)

bigtable に書き込む前に、このメソッドがすべての要素を処理していることを確認しましたが、このパイプラインを実行すると、なぜそのような例外が発生するのかわかりません。以下のコードによると、このメソッドはbigtableWriter属性を使用して各 を処理しますc.element()が、ブレークポイントを設定してデバッグすることさえできませんnull。この問題を解決するためのアドバイスや提案はありますか?

ありがとう。

データフロー ジョブを使用して Google ストレージから BigTable にデータを書き込んでいます。

Big テーブルの「Write-requests」グラフを確認すると、1.5k から 9k の間で変動していることがわかります。一貫してデータを渡しているため、一貫性を保つ必要があります。

ログを確認したところ、このステートメントが頻繁に出てくることがわかりました'Retrying failed call. Failure #1, got: Status{code=UNAVAILABLE, description=Temporary problem while looking up metadata for table AID_KRUXID, cause=null}'

「Write-requests」でこのような変化が見られる理由を理解したいのですが、上記のロガーステートメントは書き込み要求に影響を与えますか、それとも私が認識していない他の理由がありますか?

ありがとう！あらかじめ

列ファミリーが 1 つしかないテーブルがあります。この列の TTL は 24 時間ですが、期限までにデータを削除する必要があります。

この目標を達成するために、挿入日を偽造しました。例: 挿入の 1 時間後に行を削除する必要がある場合、挿入日を 23 時間前に設定します。このメカニズムは正常に機能し、Bigtable は 1 時間後にデータを削除しましたが、これにより Bigtable の内部ワークフローでエラーが発生するかどうかはわかりません。

このまま使い続けられますか、それとも他に方法はありますか?

BigQuery を使用してセンサー データを時系列で保存する可能性を調査しています。意図は、データを BQ に保存し、それを Pandas で処理することです...これまでのところとても良いです... Pandas は TIMESTAMP フィールド インデックスを解釈し、シリーズを作成できます。

追加の要件は、データがキーと値のペアとして任意のタグをサポートすることです (例: job_id=1234、task_id=5678)。BigQuery は、RECORD 型の REPEATED フィールドでこれを適切にサポートできます。

これは、データの保存に最適であり、単一のキーと値の組み合わせでフィルタリングするだけでよい場合のクエリにも最適です。

ただし、クエリ式でタグのセットを組み合わせることができる必要もあり、これを機能させることができないようです。たとえば、このクエリは結果を返しません

質問: このスキーマを使用して、自分のやりたいことを実行するクエリを作成することはできますか? このタイプの可変データを Big Query の固定スキーマにアタッチするには、どのような方法が推奨されますか?

助けや提案をありがとう！

注: これが InfluxDB の優れた修正のように見えると思われる場合は、それは私がこれまで使用してきたものだからです。一見克服できない問題は、データ セット内のシリーズ カーディナリティの量です。そのため、代替手段を探しています。