問題タブ [mahalanobis]

n 個の特徴を持つ m 個の 1-D バイナリ ベクトルがある場合に、外れ値ベクトルを特定する最適な方法を調査しています。たとえば、次のようになります。

私の場合、n と m は 100 です。どのベクトルが母集団の外れ値であるかを特定したいと思います。SciPy のマハラノビス距離と HDBSCAN などのパッケージを使用して、いくつかの情報を見つけました (注: これらの外れ値が識別された後、これらの外れ値をクラスタリングして、外れ値にさらにパターンがあるかどうかを確認します)。どちらの場合も例は限られていますが、これがバイナリ ベクトルで使用する最良の方法かどうかもわかりません。アドバイスや例、参考文献をいただければ幸いです。

8 GB RAM と Intel Core I5 プロセッサを搭載した Lenovo IdeaPad ラップトップを持っています。100次元ごとに60kのデータポイントがあります。KNN を実行したいので、LMNN アルゴリズムを実行してマハラノビス メトリックを見つけます。
問題は、ubuntu で 2 時間実行した後に空白の画面が表示されることです。何が問題なのかわかりません！私のメモリがいっぱいになっていますか、それとも何か他のものですか？
この私のコードを最適化する方法はありますか?

私のデータセット: data
私の LMNN 実装:

org.apache.mahout.common.distance.MahalanobisDistanceMeasure を使用して行列の行間の距離と平均ベクトルを計算していますが、NaN を返すことがあります。デバッグしようとしたら、Object クラスで NullPointerException がスローされたようです。しかし、他の行についてはすべて問題ありません。誰かが私にいくつかのガイダンスを与えることができれば、私は感謝します.

出力:

centroid() は、行列の重心を計算するメソッドで、int[2] を返します (最初の要素は x 座標で、2 番目の要素は y です)。dataSet は、私が注目しているマトリックスです。