machine-learning - EMの収束を証明する方法は？

Question

期待値最大化アルゴリズムの収束を証明する方法を誰かが説明できますか？

たとえば、コインの問題のEM：https ://math.stackexchange.com/questions/25111/how-does-expectation-maximization-work

Answer 1

EMアルゴリズムは最尤推定を行います。対数尤度を見ると、EステップとMステップの両方が常に対数尤度を最大化するというわけではありません。ただし、負の自由エネルギー関数を見ると、どちらも常に最大化されていますが、さまざまな点で最大化されています（座標降下法のようなものです）。そうです、EMアルゴリズムは常に収束しますが、それは別の問題である悪い局所極値に収束する可能性があります。
詳細については、古典的な論文www.cs.toronto.edu/~radford/ftp/emk.pdfをご覧ください。

Answer 2

EMアルゴリズムは常に収束するとは限りません。したがって、問題の詳細が重要になります。