問題タブ [google-cloud-dataflow]

ドキュメントで指定されているように、ParDo 用に 2 つの BigQuery 副入力を定義しました。パイプラインがローカルで実行される場合 (DirectPipelineRunner など)、副入力は正常に機能します。ただし、クラウドで実行すると、次のようになります。

ローカルでは機能するのに、クラウド経由で実行すると機能しないのはなぜですか?

編集された更新 1

変換のステップごとに新しい ParDo インスタンスを作成することで、IllegalArgumentException を解決することができました。ただし、副入力を処理しようとすると、クラス キャスト例外が発生します (これも、ローカルで実行すると完全に正常に実行されます)。

ジョブ ID: 2015-03-16_01_10_11-6267129041459219709

編集された更新 2

Mavenへのロールアウトが遅れたため、Githubの最新ソースに対してビルドを試みました。現在、回帰バグのようです。ProcessContext副入力について を照会すると、 が返されますnull。

ただし、以前と同様に、ローカルで完全に実行されます。

数日前から、データフロー ジョブを送信できなくなりました。以下のエラーで失敗します。

単純な WordCount ジョブを送信しようとしましたが、成功しました。私自身の仕事の非常に単純化されたバージョンでも、すべて問題ありません。しかし、さらにコードを追加すると (GroupByKey 変換を追加すると)、それを送信できなくなります。

このエラーの意味を知っている人はいますか?

ありがとう、G

WordCount サンプルの実行には成功しましたが、TrafficStreamingMaxLaneFlow サンプルの実行に失敗しました。具体的にどの引数を使用すればよいですか? 私のコマンドライン： mvn exec:java -pl examples -Dexec.mainClass=com.google.cloud.dataflow.examples.TrafficStreamingMaxLaneFlow -Dexec.args="--project=sturdy-analyzer-658 --inputTopic=xxxInputTopic --dataset=xxxDataset --table=MIS --runner=BlockingDataflowPipelineRunner"

結果：

ファイル拡張子が .gz であるため、圧縮された GCS のファイルから json データを解析する必要があるため、再編成してデータフローによって適切に処理する必要がありますが、ジョブ ログには判読できない文字が出力され、データは処理されません。非圧縮データを処理すると、正常に機能しました。次の方法を使用して、json をマップ/解析しました。

何が原因でしょうか？

===================================

入力ファイルから読み取る方法の詳細を追加するには:

1. パイプラインを作成するには:

   /li>

2. 実行時の構成:

   /li>

3. 入力ファイル名の例: file.gz、およびコマンド gsutil ls -L gs://bucket/input/file.gz | の出力 grep コンテンツは次のとおりです。

   /li>

DataFlow SDK を取得し、Eclipse プロジェクトとして正常に開くことができました。合計で 66 個のエラーが表示され、基本的な問題は次のとおりです。

説明 リソース パス 場所 タイプ コンストラクター SpecificDatumReader(Class) は欠落しているタイプを参照します ユーザー AvroIOTest.java /google-cloud-dataflow-java-sdk-all/src/test/java/com/google/cloud/dataflow/sdk/io 125行目Javaの問題

このクラスがどこにあるのかわかりません。