machine-learning - 反復条件付きモード E ステップ EM

Question

EM アルゴリズムの E ステップの近似として ICM を使用することの数学的な正当性を知りたかったのです。

Eステップで理解しているように、アイデアは潜在変数の事後分布に等しい分布を見つけることです。これは、可能性が増加することを保証するか、下限を保証するいくつかの単純な分布ファミリーから可能な限り最良の分布を見つけることを保証します尤度関数の増加。

このような E ステップでの ICM の使用を数学的に正当化するにはどうすればよいでしょうか? 参照/派生/メモは非常に役立ちます。

Answer 1

所与の観察 (x) に対するラベリング (y) の可能性を表す単純な CRF を考えてみましょう。また、尤度がパラメータ \theta に依存すると仮定します。推論では、x のみを知っており、y について推論しようとしています。あなたが単純に行うことは、E ステップがラベリング y (argmax P(y|x,\theta)) を見つけ、M ステップがパラメーター \theta (argmax P(\theta|x,y)) を見つけるように EM アルゴリズムを適用することです。 . \theta は一般に高次元ではない (少なくとも y の次元ほど高くない) ため、M ステップは任意の最適化アルゴリズムを使用して達成できます。\theta は M ステップで個別に最適化されるため、E ステップは隠れ変数を持たない MRF/CRF に対する単純な推論です。ICM は、推論を実行するために使用されるアルゴリズムです。参照が必要な場合は、マーフィーの本http://www.cs.ubc.ca/~murphyk/MLbook/を読むだけです。、第26章はかなり関連していると思います。