問題タブ [markov]

DNA配列を生成するために第1ステップの遷移行列を使用しています。ここで、1000ステップごとに変化する確率を遷移行列に与える必要があります。たとえば、1000ステップごとに、遷移行列が変化する確率は40％です。変更後、すべての行が1に追加されます。Pythonでネストされた辞書データの値にアクセスする方法と、40％の確率変更を実装する方法がわかりません。ここにコードを添付しました。提案をいただければ幸いです。

マルコフ連鎖の極限を計算するプログラムをプログラミングしています。

マルコフ行列が発散する場合、dA + (1-d)E の形式に変換する必要があります。ここで、A と E は両方とも n * n 行列であり、E のすべての要素は 1/n です。

しかし、入力が収束したときにその変換を適用すると、間違った値が出てきます。

マルコフ行列が収束するかどうかを確認する簡単な方法はありますか?

単純なマルコフ決定プロセスWikipediaの値反復アルゴリズムをPython で実装しました。特定のマルコフ過程の構造 (状態、アクション、遷移、報酬) を保持し、それを反復するために、次のデータ構造を使用しました。

1. 状態とそれらの状態で使用可能なアクションの辞書:

   SA = { 'state A': {' action 1', 'action 2', ..}, ...}

2. 遷移確率の辞書:

   T = {('state A', 'action 1'): {'state B': probability}, ...}

3. 報酬の辞書:

   R = {('state A', 'action 1'): {'state B': reward}, ...}.

私の質問は次のとおりです。これは正しいアプローチですか？MDP に (Python で) 最も適したデータ構造は何ですか?

MATLAB を使用して画像の GMRF モデルのパラメーターを推定する方法を説明できる人はいますか?

UGM などのツールボックスを試してみました (http://www.di.ens.fr/~mschmidt/Software/UGM/trainMRF.html)。

私は、倒立振子の問題をモデル化し、強化学習アルゴリズム、特に Q-Learning で解決するサイド プロジェクトに取り組んでいます。私はすでに、グリッドの世界向けの単純な MDP ソルバーを設計しました。簡単なものです。

しかし、研究論文を何日も精査した後、これを行う方法を理解するのに苦労しています. 問題を表現するためのフレームワークを構築する方法については何も説明されていません。

問題をモデル化するとき、標準のマルコフ決定プロセスを使用できますか? それともPOMDPでなければなりませんか？

各状態で何を表すか (つまり、どの状態情報がエージェントに渡されるか)? 座標、速度、振り子の角度など?

エージェントはどのようなアクションを実行できますか? + または - x 方向の速度の連続範囲ですか?

これに関するアドバイスは大歓迎です。

C#でマルコフ モデルを使用して乱数を生成するにはどうすればよいですか? ここで、マルコフ アルゴリズムのほとんどすべてのアプリケーションが、テキストをランダムに書くことにあることに気付きました。これがどのように機能するかを完全に理解できるソースコードまたはチュートリアルはどこかにありますか? 私の目標は、実際には乱数を生成して太陽エネルギーの収穫をシミュレートすることです。

ここで、同等性によって、つまり、両方のケースで分布（テーブル全体）が等しくなりますか???

マウント ベイカー国有林における夏季の火災の危険性は、3 つの危険レベルのいずれかに分類されます。1 = 低、2 = 中、3 = 高です。これらの状態間の毎日の遷移の確率は、次のフロー ダイアグラムによって与えられます。

(a) モデルを行列形式で記述して、ある日から次の日の火災危険確率を予測します。

画像: http://i.stack.imgur.com/TRuUy.png

(b) 今日、状態 1 にいる場合、明後日状態 2 になる確率は?

(c) 見つけた行列が正しい場合、固有値と固有ベクトルは次の式で与えられます。

これらに基づいて、各状態にいる均衡確率はいくらですか?

部分 a の行列形式は見つかりましたが、部分 b と c はわかりませんでした。ありがとうございました

マルコフ連鎖を使ったシンプルなテキストジェネレーターを作りたいです。Java の「ランダム」ルーチンがどのように使用され、どのデータ構造を使用するのかわかりません。

たとえば、ドキュメントをロードするルーチンがあり、その後、孤立した構造に基づいてドキュメントを生成するマルコフ ルーチンがあるとします。ドキュメント生成ルーチンを変更/作成するにはどうすればよいですか?

私はこのような形のデータを持っています

Broker.ポジション

IP BP SP IP IP ..

この形のような二次遷移行列を計算したい

BPBP

SPSP

IPIP

BPSP

SPBP

IPSP

SPIP

BPIP

IPBP