scala - RDD から定数列を削除し、共分散行列を計算します

Question

私のRDDには、定数値を持つ列があるかもしれません。つまり、一部の列の分散がゼロになる場合があります。私の目的は、RDD からそのような列をすべて削除することです (そして、最終的に残りの列の共分散行列を計算します)。どうやってやるの？

よろしくお願いいたします。

Answer 1

RDD は不変であると想定されています。したがって、何かを削除したいとは思いませんがmap、自分に合ったものや何かを削除したいだけです（ドキュメントfilterの詳細）。