group-by - ユーザー定義関数を使用した Pyspark データ フレーム集約

Question

ユーザー定義関数で「groupby(key).agg(」を使用するにはどうすればよいですか?具体的には、キーごとにすべての一意の値のリストが必要です [カウントしない]。

Answer 1

私がpyspark.sql.functions.collect_set(col)望んでいた仕事をするものを見つけました。