1

Cloud Dataflow が Cloud Bigtable にデータを書き込めるようにする計画はありますか? それは可能ですか？

IO を処理するためのカスタムを追加するSinkことは、おそらくクリーンな選択です。

回避策として、単純なDoFn. ステップで接続とテーブルを開き、startBundleで閉じますfinishBundle。

さらに、クラスパスに を追加し、ピックアップされるリソース フォルダーにbigtable-hbase jar (0.1.5)の修正版を追加しました。hbase-site.xml

クラウドで実行すると、NPN/ALPN extensions not installed例外が発生します。

ローカルで実行すると、生成された json キー ファイルにComputeEngineCredentials cannot find the metadata server.を設定したにもかかわらず、例外が発生します。GOOGLE_APPLICATION_CREDENTIALS

どんな助けでも大歓迎です。

4

2 に答える 2

0

Cloud BigTable には NPN/ALPN ネットワーク jar が必要です。これは現在、Dataflow ワーカーにはインストールされていません。そのため、ParDo から Cloud BigTable に直接アクセスしても機能しません。

考えられる回避策の 1 つは、HBase REST API を使用して REST サーバーをセットアップし、Dataflow 外部の VM 上の Cloud Bigtable にアクセスすることです。これらの手順が役立つ場合があります。

その後、この REST サーバーに REST 要求を発行できます。これは、大量のリクエストを送信する場合 (つまり、大量のデータを処理し、REST サーバーの複数のインスタンスをセットアップしてそれらの間で負荷を分散する必要がある場合) には、やや複雑になる可能性があります。

于 2015-06-09T21:05:07.427 に答える