私は次のコードを持っています：
val df = sqlContext.sql("SELECT Transaction_ID,Product_ID FROM Transactions as tmp")
val rawDict = df.select('Product_ID).distinct().sort('Product_ID)
val dictCounts = rawDict.groupBy('Product_ID).count().filter(col("count") >= 2)
val sigCounts = dictCounts.filter('count === 1)
val dupCounts = dictCounts.filter('count > 1)
val sigDescs = rawDict.join(sigCounts, "Product_ID").drop('count)
val invoiceToStockCode = df.select('Transaction_ID, 'Product_ID).distinct()
val baskets = invoiceToStockCode.groupBy('Transaction_ID).agg(collect_list('Product_ID).as('StockCodes)).cache()
そして、いくつかの関連規則を抽出しようとしています。そのためには、すべてのトランザクションが複数の製品によってグループ化されていることを保証する必要があります。しかし、私のコードでは、1 つの製品のみでトランザクションを取得しています。
どうすればそれをフィルタリングできますか？
ありがとう！