問題タブ [markov]

一連の方程式を解いて、エルゴード マルコフ行列の定常分布を決定しようとしています。

つまり、行列は

方程式のセットは、以下の定理からのものです

上記の方程式を有効な Matlab 構文に変換するにはどうすればよいですか?

rの「semimarkov」パッケージを使用して、多状態モデルを適合させようとしています。

以下は、私のコードの結果とエラーの抜粋です。

誰かがエラーの理由とそれを修正する最善の方法を説明していただければ幸いです。ありがとう

POMDP で信念状態がどのように更新されるかを理解しました。しかし、ポリシーと価値関数のセクションのhttp://en.wikipedia.org/wiki/Partially_observable_Markov_decision_processでは、最適な価値関数 V を見つけるために V*(T(b,a,o)) の値を計算する方法がわかりませんでした*(b). 私はインターネットで多くのリソースを読みましたが、これを明確に計算する方法を説明しているものはありません. すべての計算で数学的に解決された例を提供してくれる人、または数学的に明確な説明を提供してくれる人がいますか?

私は、時変確率でマルコフ体制切り替えモデルを推定することを検討しています。そのようなモデルを推定するより簡単な方法を知っているなら、私を助けてください。

2 人がテーブルに座り、3 冊の本を共有するシステムを考えてみましょう。いつでも両方とも本を読んでいて、テーブルには 1 本の本が残されています。人は今読んでいる本を読み終えると、テーブルの上にある本と入れ替えて読み始めます。読書時間は指数関数的に分布し、人 i が本 j を読む平均時間を bi,j で表します。

このマルコフ連鎖の状態空間とは何ですか?また、どのようにレート行列 Q を構築できますか?

講義ノートからこの演習を取得しましたが、連続時間マルコフ連鎖であるため、どういうわけか状態空間が混乱しています。

これらは私が考えることができる可能な状態です:

人 i1 と i2、本 A、B、C

しかし、どうすればこれをグラフィカルに表現できますか? 試してみましたが、各ユーザーには個別のマルコフ連鎖（還元可能）があり、これは正しいとは思えません。そこから、マトリックス b のレートに基づいてレート マトリックスを作成しても問題ないと思います。

Pythonを使用してマルコフ決定プロセスの値反復アルゴリズムを実装しようとしています。私は1つの実装を持っています。しかし、これにより、ユーティリティに対して多くの繰り返しの値が得られます。私の遷移行列は非常にまばらです。おそらく、これが問題の原因です。しかし、この仮定が正しいかどうかはよくわかりません。これをどのように修正すればよいですか？コードはかなりお粗末かもしれません。私は反復を重視することに非常に慣れていません。私のコードの問題を特定するのを手伝ってください。参照コードはhttp://carlo-hamalainen.net/stuff/mdpnotes/です。ipod_mdp.py コード ファイルを使用しました。これが私の実装のスニペットです：

どうもありがとうございました。

私はテキストを生成するために調べてきました。

これまでに学んだことは、単語レベルのマルコフテキスト生成を使用する必要があるということです。このサイトでそれらのいくつかの例を見つけました。ここ

これがうまくいかないことがわかったので、とにかく試して、それをProcessingにコピーしました。正しいライブラリが見つからないというエラーがあります。

これを行った人はいますか、または処理を伴うテキスト生成の詳細を見つけるために私を良い方向に向けることができます. または、コラボをしたい人でも。オープンソースであることとそうでないこと。

私が欲しいのは、文字数が単語ベースである必要があり、データベースがそこに入力した単語によって与えられることを除いて、サイトの例とそれほど違いはありません. 最後の部分は、私がまだブレインストーミング中の別のソースに変更される可能性があります。しかし、実際にはすべてが言葉である可能性があります。アイデアがあれば、自由に投稿してください。

他のフォーラムからさらに情報が得られたら、この投稿を編集します。そのため、解決策があれば、他の人に渡すことができます。

編集: ソリューションのクリックベースの生成

ジェネレーターに使用するには、次のテキストを使用します。

それは完全に機能し、より大きなテキストを作成するために変更を開始できるようになりました. 誰でもアイデアを教えてくれます。しかし、このケースは私のために解決されています。ProcessingフォーラムのChrisIrに感謝します。