math - 初期状態に関する定常分布の状態をマルコフ連鎖

Question

マルコフ連鎖の性質として、定常分布は page_rank などの多くの分野で広く使用されています。

ただし、分布は遷移行列に関する単なるプロパティであり、マルコフ連鎖の初期状態とは何の関係もないためです。

したがって、遷移行列の条件は、初期状態がマルコフ連鎖とは何の関係もないため、n回目の反復後に最終的に定常分布に到達します。

Answer 1

マルコフ連鎖は、一意の定常分布を持つとは限りません。たとえば、遷移行列が恒等行列である 2 状態マルコフ連鎖を考えてみましょう。つまり、初期状態が何であれ、それは決して変化しません。したがって、その場合、最初のケースから独立した定常分布はありません。

定常分布がある場合、初期状態が定常分布でない限り、n が無限大になる傾向があるため、定常分布は極限でのみ到達します。したがって、反復 n+1 は反復 n に近くなりますが、n がどれほど大きくても、実際には定常分布になることはありません。ただし、実用的な目的 (つまり、コンピューターの浮動小数点数の精度の限界) では、数回の反復後に定常状態に到達する可能性があります。

Answer 2

基になるグラフが強く接続され、非周期的である必要があります。いくつかのチェーンを実行するだけで周期的マルコフチェーンの定常分布を見つけたい場合は、一定の確率で「そのまま」遷移を各ノードに追加し、他の遷移を適切に縮小します。