上記の参照アーキテクチャは Cloud Dataflow からの Cloud Storage シンクの存在を示していますが、現在のデフォルトの Dataflow API であると思われる Beam API には Cloud Storage I/O コネクタがリストされていません。
Dataflow から Cloud Storage にデータを移動するための代替手段がない場合は、存在するかどうかを明確にするのに役立つ人はいますか。
2172 次
2 に答える
4
Beam は GCS からの書き込み/読み取りをサポートしています。TextIOクラスを使用するだけです。
1 つ以上のテキスト ファイルから PCollection を読み取るには、TextIO.Read を使用します。TextIO.Read.from(String) を使用して変換をインスタンス化し、読み取るファイルのパスを指定できます (たとえば、ローカルで実行されている場合はローカルのファイル名またはファイル名のパターン、またはGoogle Cloud Storage のファイル名またはファイル名のパターン"gs:///" の形式)。
于 2017-03-03T10:47:04.197 に答える