毎日の増分データを BigQuery テーブルに追加することを計画しています。増分データを既存のテーブルに追加するたびに、重複レコード (主キー列に基づく) をテーブル内の既存のデータから削除したいと考えています。1つのアプローチは-
- 増分データからキーのセットを収集します (これを と呼びましょう
INCR_KEYS
) - - - の行でクエリを実行し
SELECT all_cols from table where pkey_col NOT IN (INCR_KEYS)
、結果を新しいテーブルに保存します。 - 増分データを新しいテーブルに追加します。
このアプローチに関する私の懸念は、大きなテーブルの複製コピーが作成され、請求書に追加されることです。
重複したテーブルを作成せずに同じことを達成するより良い方法はありますか?