1

クラウドストレージからBigQueryにいくつかのファイルをアップロードしようとしています。ファイルは約3.8GB圧縮（16GB非圧縮）ですが、BadCharacterエラーが発生するまでに12402秒かかりました。

Job cloudsql-sigma:job_9e4f13da43b649fe86b6410887c8d2c7

  Job Type    State      Start Time      Duration   Bytes Processed   
  load       FAILURE   27 Aug 12:27:21   3:24:17                     

Errors encountered during job execution. Too many errors encountered. Limit is: 0.
Failure details:
  - Bad character (ASCII 0) encountered. Rest of file not processed.

なんでこんなに時間がかかるの？

4

1 に答える 1

2

現在、一部の圧縮ファイルが不正な形式であると誤って信じている未解決のバグがあります。-ファイルの最後にASCII0が表示され、失敗します。2回再試行するので、実際に起こっているのは、ファイルを3回処理しており、それぞれに約1時間かかるということです。68分で16GBは約4MB/秒です-これは私が予想するよりも遅いですが、ひどくはありません。

インポートを高速化したい場合は、インポートを細かく分割して、それらのファイルをジョブに個別にリストすることをお勧めします。それらは並行して処理されます。

それまでの間、ファイルの最後にあるascii 0の修正を、今週のBigQueryのリリースに取り入れようと思います。

于 2012-08-27T16:46:11.383 に答える