google-cloud-dataflow - Cloud Dataflow から BigQuery へ - ソースが多すぎる

Question

後で手動で分析するために、ファイルから読み取ったデータの一部を BigQuery テーブルに挿入する仕事もあります。

次のエラーで失敗します。

job error: Too many sources provided: 10001. Limit is 10000., error: Too many sources provided: 10001. Limit is 10000.

それは何を「ソース」と呼んでいますか？ファイルまたはパイプライン ステップですか?

ありがとう、G

Answer 1

public static class ForceGroupBy <T> extends PTransform<PCollection<T>, PCollection<KV<T, Iterable<Void>>>> {
    private static final long serialVersionUID = 1L;
    @Override
    public PCollection<KV<T, Iterable<Void>>> apply(PCollection<T> input) {
        PCollection<KV<T,Void>> syntheticGroup = input.apply(
                ParDo.of(new  DoFn<T,KV<T,Void>>(){
                    private static final long serialVersionUID = 1L;
                    @Override
                    public void processElement(
                            DoFn<T, KV<T, Void>>.ProcessContext c)
                                    throws Exception {
                        c.output(KV.of(c.element(),(Void)null));

                    } }));
        return syntheticGroup.apply(GroupByKey.<T,Void>create());
    }
}