問題タブ [apache-beam-io]

Google Dataflow チームによるこの発表によると、1.6 SDK を使用すると、コンソールで BigQuery ソースとシンクの詳細を確認できるはずです。

ただし、新しい「パイプライン オプション」は実際に表示されますが、BigQuery ソース/シンクの詳細は表示されません。パイプラインはバッチ モードで実行されています。参照用のジョブ ID は次のとおりです。2016-06-23_04_38_00-7749718775594891108

BigQuery のソース / シンクの詳細を表示するにはどうすればよいですか?

時間分割テーブルの新しい BigQuery 機能を利用したかったのですが、Dataflow SDK の 1.6 バージョンで現在これが可能かどうかはわかりません。

BigQuery JSON APIを見ると、日分割テーブルを作成するには、

オプションですが、com.google.cloud.dataflow.sdk.io.BigQueryIO インターフェースでは TableReference のみを指定できます。

テーブルを事前に作成し、BigQueryIO.Write.toTableReference ラムダを介してパーティション デコレータを忍び込ませることができるのではないかと考えました。Dataflow を介してパーティション分割されたテーブルの作成/書き込みに成功した人はいますか?

これは、現在利用できないテーブルの有効期限の設定と同様の問題のようです。

Apache's BeamSDK バージョンを使用0.2.0-incubating-SNAPSHOT しており、ランナーを使用してデータをビッグテーブルにプルしようとしていますDataflow。残念ながら、シンクとしてNullPointerException使用しているデータフロー パイプラインを実行すると、エラーが発生します。BigTableIO.Writeすでにチェック済みBigtableOptionsで、必要に応じてパラメーターは問題ありません。

基本的に、私は作成し、パイプラインのある時点でPCollection<KV<ByteString, Iterable<Mutation>>>、目的のビッグテーブルに書き込むステップがあります。

パイプラインを実行すると、メソッドNullPointerExceptionで BigtableIO クラスを正確に指すが得られました。public void processElement(ProcessContext c)

bigtable に書き込む前に、このメソッドがすべての要素を処理していることを確認しましたが、このパイプラインを実行すると、なぜそのような例外が発生するのかわかりません。以下のコードによると、このメソッドはbigtableWriter属性を使用して各 を処理しますc.element()が、ブレークポイントを設定してデバッグすることさえできませんnull。この問題を解決するためのアドバイスや提案はありますか?

ありがとう。

を使用してEclipseでダウンロードされたMaven依存関係

org.apache.beam.sdk.io のみ、org.apache.beam.sdk.io.range のみダウンロードされます。しかし、.io.jdbc は依存関係でダウンロードされていません。

上記以外に、これに使用する必要がある特定の artifactId はありますか?

以下のプログラムは、Oracle 11g に接続してレコードを取得するためのものです。これまで、pipeline.apply() でコーダーに NullPointerException が発生しています。

プロジェクトの依存関係に ojdbc14.jar を追加しました。

以下のエラーが発生しています。手がかりはありますか?