問題タブ [google-cloud-dataflow]

Dataflow ジョブ用に作成された VM で jstack を実行する方法はありますか? ジョブが CPU 時間のほとんどを費やしている場所を確認しようとしていますが、インストールされていることがわかりません。

ありがとう、G

2 つの異なるシナリオで、同じクラスに異なるコーダーを使用しようとしています。

1. JSON 入力ファイルからの読み取り - 使用data = TextIO.Read.from(options.getInput()).withCoder(new Coder1())
2. 仕事の他の場所で、使用してクラスを永続化しSerializableCoderたいdata.setCoder(SerializableCoder.of(MyClass.class)

ローカルでは動作しますが、クラウドで実行すると失敗します

サポートされているシナリオですか? そもそもこれを行う理由は、JSON 形式の読み取り/書き込みを回避し、一方で入力ファイルからの読み取りをより効率的にするためです (UTF-8 解析は JSON リーダーの一部であるため、InputStream から直接読み取ることができます)。 )

明確化: Coder1 は私のコーダーです。

他のコーダーは SerializableCoder.of(MyClass.class)

システムはどのコーダーを使用するかをどのように選択しますか? 2 つの形式はバイナリ互換性がなく、いくつかの最適化により、2 番目のコーダーは最初のコーダーのみが読み取ることができるデータ形式に使用されるようです。

マシン タイプを指定できるオプションがあることに気付きました。デフォルトのマシン タイプを上書きするかどうかを決定するために使用する基準は何ですか?

いくつかの実験では、インスタンスが小さいほどスループットが向上することがわかりましたが、一方で、少数のデフォルト インスタンスの代わりに多数の小さいインスタンスを使用すると、ジョブでより多くの「システム」障害が発生する傾向があります。

ありがとう、G

送信しようとしている最近のジョブで次のエラーが発生します。

その他のエラーはありません。

このエラーはどういう意味ですか?

前述の方法で使用できる画像に特別な要件はありますか? 画像セクションで画像の 1 つを選択するだけでは機能しないようです。

ありがとう、G

Google Cloud プロジェクトの残りのマシン（本番環境など）に同様のアクセス権を付与せずに、ジョブの作成者（またはプロジェクトへのアクセス権を持つすべてのユーザー）が作成されたインスタンスにアクセスできるようにするアクセス ポリシーを構成することは可能ですか。マシン)?

ありがとう、G

各ファイルのスキーマが N 個の異なるスキーマのいずれかである可能性がある場合、Avro ファイルから PCollection を構築するにはどうすればよいでしょうか?

すべての avro ファイルに一致する glob パスを指定するだけで、ファイルごとに新しい Avro ソースを構築するのではなく、単一の Avro ソースを使用したいですか?