問題タブ [set-operations]

レコードの pyspark データフレームdfがあり、各レコードにはidとがありgroup、2 つのイベント ( event1, event2) が発生したかどうかをマークします。各グループの id の数を見つけたいのですが、それは次のとおりです。

1. 両方の出来事が彼らに起こりました。
2. event2 は発生しましたが、event1 は発生しませんでした。

ここで簡単な例を抽出しています：

上記dfでgroup = Aは、2 つの ID に event1:(001,003) があり、3 つの ID に event2:(001,002,003) があるためです。たとえば、event1 ではなく event2 の ID の数は 1 です。

このようなものが得られることを願っています。

これまでのところ、各イベントに表示される一連の ID を収集してから、セット操作を で個別に実行しようとしましたnew_df。しかし、これはかなり不器用だと感じました。例えば、

pysparkでこれをエレガントに達成するにはどうすればよいですか?

と の 2 つのセットがあるs1としs2ます。

これら 2 つのセットに基づいて、3 つの異なるセットが必要です。

1. s1には存在するが存在しない要素のセットs2。
2. s2には存在するが存在しない要素のセットs1。
3. s1と の両方に存在する要素のセットs2。

これらは次のように簡単に計算できます。

これらのセットをより効率的に計算する方法はありますか? 異なるセット操作には複数の内部処理ステップが共通しているため、冗長性がある可能性があると思います。