performance - Google BigQuery のクエリ実行速度が遅い

Question

約 84 GB のログ データであるデータセットに対して単純な bigQuery を実行しています。

クエリが完了するまでに約 110 秒かかります。これは、このサイズのデータ​​ セットでは正常ですか?

Answer 1

さらに調査した結果、テーブルが大幅に断片化されているようです。通常、このような状況を防ぐために合体プロセスを実行していますが、バグ修正を検証している間、数週間停止していました。コアレッサーを再起動し、テーブルに対して実行しました。引き続きパフォーマンスの低下が見られる場合はお知らせください。

ベスト プラクティスとして、より大きなチャンクでインポートする頻度をやや低くするか、データを時間ベースのテーブルに分割することをお勧めします。BigQuery は、同じテーブルへの大量の小さなインポートを処理するようには設計されていません。