私はpython scikit-learnパッケージのガウス混合モデルを使用してデータセットをトレーニングしていますが、コーディング時にそれを見つけました
-- G=mixture.GMM(...)
-- G.フィット(...)
-- G.score(合計機能)
結果の対数確率は正の実数です...なぜですか? 対数確率は負であることが保証されていませんか?
わかった。ガウス混合モデルが返すものは、確率「質量」ではなく対数確率「密度」であるため、正の値は完全に合理的です。
共分散行列が特異値に近い場合、GMM はうまく機能しません。一般に、データがそのような生成タスクに適していないことを意味します。
正の対数確率は問題ありません。
GMM で計算された確率は確率密度関数 (PDF) であるため、個々の点で 1 より大きくなる可能性があることに注意してください。
制限は、PDF をデータ ドメインを介して 1 つに統合する必要があることです。
対数確率が非常に大きくなる場合は、推論アルゴリズムが縮退した解に達している可能性があります (データセットが小さい場合の最尤推定では一般的です)。
GMM アルゴリズムが縮退した解に達していないことを確認するには、各コンポーネントの分散を調べる必要があります。分散のいずれかがゼロに近い場合、これは悪いことです。別の方法として、最尤推定ではなくベイジアン モデルを使用する必要があります (まだ行っていない場合)。