問題タブ [google-cloud-dataflow]

Google Cloud Dataflowは2014 年 6 月にリリースされました (詳細については、このブログ投稿を参照) 。開発者/

この製品に関する詳細情報や技術文書がどこにあるか知っている人はいますか?

トポロジがどのように機能するか、静的か動的かなどに本当に興味があります..

1 つずつ確認する以外に、 Google Cloud Dataflowでジョブのステータスを確認する機能はありますか? ジョブ ステータス、完了予定時刻、現在使用されているリソース、エラー (ある場合) などを含むダッシュボードのようなものを意味します。

また、 や に似たコマンド ライン ツールをリリースする予定はgsutilありbqますか?

ありがとう！

特定のキーにマップされたすべてのレコードを処理し、そのデータの複数のレコードを出力する最も簡単な方法は何でしょうか。

たとえば（合成の例）、キーが日付で、値が測定された温度を含む日中のタイムスタンプであると仮定します。気温をその日の最高/平均/最低に分類したいと思います (ここでも、平均から 1 stddev を下回る/上回る)。

出力は、新しい分類による元の温度になります。

Combine.PerKey(CombineFn) を使用すると、 #extractOutput() メソッドを使用してキーごとに 1 つの出力しか許可されません。

ありがとう

パイプラインをローカルで実行すると、次の例外が発生します。クラウド実行のために提出する場合も例外ではありません。

ありがとう、ジェナディ

コードの概要は基本的に次のとおりです。

アグリゲーター クラスの拡張CombineFn<MyValue, List<MyValue>, MyAggregated>

圧縮ファイルから入力データを読み取る方法 (または何らかのハック) はありますか? 私の入力は数百のファイルで構成されており、これらのファイルは gzip で圧縮されており、それらを解凍するのはやや面倒です。

Google のデータフロー サービスでデータを処理しているときに無効なデータを報告する方法を見つけるために、ドキュメントと提供されている例を調べています。

実際の入力/出力に加えて、無効と見なされるレコードを含む 2 番目の出力ファイルを作成したいと考えています (データの欠落、不正な形式のデータ、値が高すぎるなど)。それらのレコードをトラブルシューティングして、個別に処理したいと考えています。

• 入力: gs://.../input.csv
• 出力: gs://.../output.csv
• 無効なレコードのリスト: gs://.../invalid.csv

これらの無効なレコードを別の出力にリダイレクトするにはどうすればよいですか?

後で手動で分析するために、ファイルから読み取ったデータの一部を BigQuery テーブルに挿入する仕事もあります。

次のエラーで失敗します。

それは何を「ソース」と呼んでいますか？ファイルまたはパイプライン ステップですか?

ありがとう、G