hadoop - Collect Aggregation を使用したハイブ

Question

ハイブテーブルから重複した値を削除したかったので、このクエリを使用しています

INSERT INTO TABLE final_table 
 select 
   A,
   B,
   collect(coalesce(C,0))[0],
   collect(coalesce(D,0))[0],
   collect(coalesce(E,0))[0],
   collect(coalesce(F,0))[0],
   collect(coalesce(G,0))[0]
 from 
   temp_table
 group by 
   A,B ;

A,B主キーも同様です。

しかし、結果として、まだ重複した値が得られています。クエリに何か問題がありますか?

Answer 1

「collect_set」UDF を使用するか、マップに収集し、「map_keys」を使用してマップからキーを取得してみてください。