私たちのシステムは、CSからのBQ csvファイル(〜8Mb)のインポートを10分ごとに実行します。しかし、今日、少なくとも4回のエラーが発生しました:「見つかりません:Googleストレージファイル...」。CSでファイルを再確認し、問題なくダウンロードしました。BQインポート(job_610b149c0d9041b7a3145ee245b80653)を(再)開始しようとしましたが、再び「見つかりません...」になりました。他のすべてのインポート(数百)は問題ありません。
CSでcsvファイルをステージングしてからインポートジョブをトリガーするためにGAE(java)を使用しています(GAE-> CS-> BQ)。一般的に、システムは正常に動作しますが、信頼性はあまり高くありません。ですから、私はギャップ(データの欠落)と戦っている、またはほぼ毎日重複していることがあります。データの「一定の流れ」をBQにインポートする他の方法(グッドプラクティス)はありますか?ストリーミング?
BQテーブルにデータが入ると、作業がはるかに簡単になります。BigQueryは本当に素晴らしい製品です!ありがとう、ササ