Baum-Welch アルゴリズムを使用して、増加する状態数に対していくつかの隠れマルコフ モデルを作成しました。8 つの州の後、8 つ以上の州で検証スコアが下がっていることに気付きました。隠れマルコフモデルの精度は、ある種のオーバーフィッティングにより、状態数の増加に伴って低下する可能性があるのではないかと考えました。
前もって感謝します！
2477 次
1 に答える
10
わかりやすくするために、ここでは現象を非常に単純化した図を提案します。
データ シーケンス (ABAB) を使用して HMM をトレーニングするとします。2 状態 HMM を使用するとします。当然、状態 1 はそれ自体を最適化して A を表し、状態 2 は B を表します (またはその逆)。次に、新しいシーケンス (ABAB) が作成されます。このシーケンスが HMM に関して持つ尤度を知りたいとします。Viterbi アルゴリズムは、最も可能性の高い状態シーケンスが (1-2-1-2) であることを検出し、Baum-Welch アルゴリズムは、状態のシーケンスと新しいシーケンスの「値」として、このシーケンスに高い可能性を与えます (連続データを扱う場合) トレーニング シーケンスと明確に一致します。
同じトレーニング シーケンス (ABAB) で 3 状態 HMM をトレーニングするとします。データの最初のクラスタリングでは、ほとんどの場合、HMM の最初の 2 つの状態をシンボル A の表現に割り当て、最後の状態をシンボル B に割り当てます (またはその逆)。
したがって、クエリ シーケンス (ABAB) は、状態シーケンス (1-3-1-3) または (2-3-2-3) または (1-3-2-3) または (2-3) として表すことができます。 -1-3) ! これは、この 3 状態 HMM の場合、2 つの同一のシーケンス (ABAB) の HMM に対する類似性が低い可能性があることを意味します。これが、特定の数の状態を超えると、HMM とデータセットのパフォーマンスが低下する理由です。
ベイジアン情報量基準、赤池情報量基準、最小メッセージ長基準などの基準を使用して、最適な状態数を推定できます。または、あいまいなアイデアを得たい場合は、分散のパーセンテージと組み合わせた k-means クラスタリングを使用できます。説明した。最初の 3 つの基準は、モデルのパラメーター数に応じたペナルティ項が含まれているため、興味深いものです。
それが役に立てば幸い！:)
于 2015-07-21T14:30:48.390 に答える