2 人がテーブルに座り、3 冊の本を共有するシステムを考えてみましょう。いつでも両方とも本を読んでいて、テーブルには 1 本の本が残されています。人は今読んでいる本を読み終えると、テーブルの上にある本と入れ替えて読み始めます。読書時間は指数関数的に分布し、人 i が本 j を読む平均時間を bi,j で表します。
Let b = [1 2 4]
[5 1 2]
このマルコフ連鎖の状態空間とは何ですか?また、どのようにレート行列 Q を構築できますか?
講義ノートからこの演習を取得しましたが、連続時間マルコフ連鎖であるため、どういうわけか状態空間が混乱しています。
これらは私が考えることができる可能な状態です:
人 i1 と i2、本 A、B、C
i1,A
i1,B
i1,C
i2,A
i2,B
i2,C
しかし、どうすればこれをグラフィカルに表現できますか? 試してみましたが、各ユーザーには個別のマルコフ連鎖（還元可能）があり、これは正しいとは思えません。そこから、マトリックス b のレートに基づいてレート マトリックスを作成しても問題ないと思います。
これは、この問題を解決するためのコードを作成する予定がある場合でも、おそらくhttp://stats.stackexchange.comに適した質問の 1 つです。その理由の 1 つは、簡単に使用できる数学モードがあるのに対し、SO ではそうではないことです。とにかく、ここで答えを出します。
マルコフ連鎖を構築したい場合、それが連続時間連鎖であるか離散連鎖であるかは問題ではありません。これらは同じ概念に基づいており、形式的に単純な遷移によって関連付けられているためです (差分商が長さが無限小になるときの導関数)。むしろ、状態の情報コンテンツを正しく取得することが重要です。したがって、移行を行うためにここで何が必要かを評価する必要があります。
このためには、提案した状態変数では十分ではありません。1 つのリーダーしか含まれておらず、時間が不足しています。明らかに、読者と書籍の両方が状態変数に必要です。しかし、開始時刻も必要です。そうしないと、いつその本を読み終えるかわかりません。
したがって、状態変数で終わります
S = ({book_reader_1, start_time_1}, {book_reader_2, start_time_2})
遷移関数は、指数分布を からstart_time現在の時刻まで積分することによって評価できますt。これにより、リーダーが時刻に終了する確率が得られtます。両方のリーダーに対してこれを行う必要がありますが、読み取り時間に影響を与えないため、別々に行うことができます。