0

単一のジョブでインポートが重複するという、BigQuery に関する既知の問題はありますか? この問題は発生しており、BigQuery で発生している問題を解決するために支援が必要です。

このプロセスは 15 分ごとに実行され、CSV を BigQuery にインポートします。ログを調べたところ、2 回処理されたジョブは次の問題を示しています。2 回処理された CSV ファイルには、36101 行が含まれています。

  1. アップロード プロセスにより、単一のジョブが BigQuery に正常に送信されました。アップロード用に投稿された CSV ファイルには 36101 行があり、サイズは 2846673 です

  2. 私たちのプロセスは、ジョブのステータスをチェックします。ジョブのステータスを確認するときは、「outputRows」に注意してください。予想通り (36101)。

    "status": { "state": "RUNNING" }, "statistics": { "startTime": "1356528625599", "load": { "inputFiles": "1", "inputFileBytes": "2846673", "outputRows ": "36101"、"outputBytes": "13651590" } } }

  3. 上記のジョブが完了すると、プロセスは 2 倍のレコードを表示することに注意してください。outputRows (72202) を参照

    "status": { "state": "DONE" }, "statistics": { "startTime": "1356528625599", "endTime": "1356528665201", "load": { "inputFiles": "1", "inputFileBytes ": "2846673", "outputRows": "72202", "outputBytes": "27303180" } } }

4

2 に答える 2

1

バグを特定して修正しました。さらに問題が発生した場合はお知らせください。

于 2012-12-27T20:57:24.653 に答える
0

それだけの価値はありますが、過去 5 日間で同じ問題が 2 回見られました。10 分ごとに読み込みを行っていますが、この問題をより扱いやすくするために 1 時間ごとに変更しました。

于 2012-12-31T18:47:57.213 に答える