2

入力を反復処理し、作成した redshift テーブルにアップロードするように構成した AWS Firehose にデータを吐き出すプロセスがあります。1 つの問題は、プロセスでデータを再評価する必要があるため、行が重複する場合があることです。何かのようなもの：

Event_date, event_id, event_cost
2015-06-25, 123, 3
2015-06-25, 123, 4

http://docs.aws.amazon.com/redshift/latest/dg/t_updating-inserting-using-staging-tables-.html

そこを見ると、古い行を新しい値に置き換えたいので、次のようになります。

insert into event_table_staging  
select event_date,event_id, event_cost from <s3 location>;

delete from event_table  
using event_table_staging  
where event_table.event_id = event_table_staging.event_id;

insert into target 
select * from event_table_staging;

delete from event_table_staging  
select * from event_table_staging;

次のようなことは可能ですか:

Redshift columns: event_date,event_id,cost
copy event_table from <s3> 
(update event_table 
select c_source.event_date,c_source.event_id,c_source.cost from <s3 source> as c_source join event_table on c_source.event_id = event_table.event_id) 
CSV


copy event_table from <s3> 
(insert into event_table 
select c_source.event_date,c_source.event_id,c_source.cost from event_table left outer join<s3 source> as c_source join on c_source.event_id = event_table.event_id where c_source.event_id is NULL) 
CSV
4

2 に答える 2

3

COPY から直接マージを行うことはできません。

ただし、最初のアプローチは、一時テーブルを使用してトランザクションにラップし、最高のパフォーマンスを得るためにロード データをステージングすることができます。

BEGIN
;
CREATE TEMP TABLE event_table_staging (
     event_date  TIMESTAMP  NULL
    ,event_id    BIGINT     NULL
    ,event_cost  INTEGER    NULL )
DISTSTYLE KEY
DISTKEY (event_id)
SORTKEY (event_id)
;
COPY event_table_staging  
FROM <s3 location>
COMPUDATE ON
;
UPDATE event_table  
SET    event_date = new.event_date
      ,event_cost = new.event_cost
FROM        event_table         AS trg
INNER JOIN  event_table_staging AS new
        ON  trg.event_id = new.event_id
WHERE COALESCE(trg.event_date,0) <> COALESCE(new.event_date,0)
  AND COALESCE(trg.event_cost,0) <> COALESCE(new.event_cost,0)
;
INSERT INTO event_table 
SELECT  event_date
       ,event_id  
       ,event_cost
FROM        event_table_staging AS new
LEFT JOIN   event_table         AS trg
       ON   trg.event_id = new.event_id
WHERE trg.event_id IS NULL
;
COMMIT
;

このアプローチは、トランザクションを使用し、更新の総量が比較的少ない (1 桁 %) 限り、実際に驚くほどうまく機能します。唯一の注意点は、ターゲットを定期的に編集する必要があることVACUUMです。月に 1 回で十分です。

これは、数億行の範囲のいくつかのテーブル、つまり数億行が数億行にマージされた場合に、1 時間ごとに実行されます。マージされたテーブルに対するユーザー クエリは、引き続き適切に実行されます。

于 2016-02-27T15:19:30.127 に答える