1

(HBase API 経由で) Bigtable に書き込む Google Cloud Dataflow ジョブがあります。残念ながら、次の理由で失敗します。

java.io.IOException: The Application Default Credentials are not available. They are available if running in Google Compute Engine. Otherwise, the environment variable GOOGLE_APPLICATION_CREDENTIALS must be defined pointing to a file defining the credentials. See https://developers.google.com/accounts/docs/application-default-credentials for more information. at com.google.bigtable.repackaged.com.google.auth.oauth2.DefaultCredentialsProvider.getDefaultCredentials(DefaultCredentialsProvider.java:74) at com.google.bigtable.repackaged.com.google.auth.oauth2.GoogleCredentials.getApplicationDefault(GoogleCredentials.java:54) at com.google.bigtable.repackaged.com.google.cloud.config.CredentialFactory.getApplicationDefaultCredential(CredentialFactory.java:181) at com.google.bigtable.repackaged.com.google.cloud.config.CredentialFactory.getCredentials(CredentialFactory.java:100) at com.google.bigtable.repackaged.com.google.cloud.grpc.io.CredentialInterceptorCache.getCredentialsInterceptor(CredentialInterceptorCache.java:85) at com.google.bigtable.repackaged.com.google.cloud.grpc.BigtableSession.<init>(BigtableSession.java:257) at org.apache.hadoop.hbase.client.AbstractBigtableConnection.<init>(AbstractBigtableConnection.java:123) at org.apache.hadoop.hbase.client.AbstractBigtableConnection.<init>(AbstractBigtableConnection.java:91) at com.google.cloud.bigtable.hbase1_0.BigtableConnection.<init>(BigtableConnection.java:33) at com.google.cloud.bigtable.dataflow.CloudBigtableConnectionPool$1.<init>(CloudBigtableConnectionPool.java:72) at com.google.cloud.bigtable.dataflow.CloudBigtableConnectionPool.createConnection(CloudBigtableConnectionPool.java:72) at com.google.cloud.bigtable.dataflow.CloudBigtableConnectionPool.getConnection(CloudBigtableConnectionPool.java:64) at com.google.cloud.bigtable.dataflow.CloudBigtableConnectionPool.getConnection(CloudBigtableConnectionPool.java:57) at com.google.cloud.bigtable.dataflow.AbstractCloudBigtableTableDoFn.getConnection(AbstractCloudBigtableTableDoFn.java:96) at com.google.cloud.bigtable.dataflow.CloudBigtableIO$CloudBigtableSingleTableBufferedWriteFn.getBufferedMutator(CloudBigtableIO.java:836) at com.google.cloud.bigtable.dataflow.CloudBigtableIO$CloudBigtableSingleTableBufferedWriteFn.processElement(CloudBigtableIO.java:861)

ジョブはすでに Cloud Dataflow サービス / VM で実行されているため、これはほとんど意味がありません。

Cloud Dataflow ジョブ ID:2016-05-13_11_11_57-8485496303848899541

bigtable-hbase-dataflowバージョンを使用して0.3.0おり、HBase API を使用したいと考えています。

4

2 に答える 2

3

これは、起動時に GCE インスタンスがデフォルトの認証情報を取得できないことがほとんどないという既知の問題だと思います。

間もなくリリースされる次のリリース (1.6.0) の一部となる修正に取り組んでいます。それまでの間、動作するはずのジョブを再送信することをお勧めします。問題が継続的に発生する場合、または他の回避策 (1.6.0 修正のバックポートなど) について話し合う場合は、お問い合わせください。

于 2016-05-17T17:03:03.797 に答える
0

1.7.0 がリリースされたので、今すぐ修正する必要があります https://cloud.google.com/dataflow/release-notes/release-notes-java

于 2016-09-19T21:16:41.223 に答える