google-bigquery - 大きなクエリ文字列の改行

Question

「文字列の改行」とは正確にはどういう意味ですか?

https://developers.google.com/bigquery/docs/quota-policy#import

確認して削除するには？

Import Jobs: Daily limit: 1,000 import jobs per table per day (including failures), 10,000 import jobs per project per day (including failures)
Maximum size per import job: 1TB uncompressed
Maximum number of files per import job: 500

Answer 1

文字列内の改行は、CSV フィールド値内に埋め込まれた改行文字を指します。これにより、インポートの並列化が困難になります。

例: 2 行、最初の行には改行が埋め込まれています。

1,2,"this is my
string",4,5
1,2,"another string",4,5

BigQuery インポーターには「--noallow_quoted_newlines」オプションがあり、ファイルに改行が埋め込まれていないことを示します。

# --noallow_quoted_newlines:
#   Do not allow quoted newlines in the data.  This allows BigQuery to parallelize the load.

https://developers.google.com/bigquery/articles/ingestioncookbook#atomic

文字列フィールドに改行がない個々の JSON および CSV ファイルは最大 100 GB になる可能性があり、文字列内に改行を含む CSV ファイルは 4 GB 以下である必要があります。

https://developers.google.com/bigquery/articles/ingestioncookbook