問題タブ [markov]

マルコフ連鎖モデルと隠れマルコフモデルの違いは何ですか? ウィキペディアを読んだことがありますが、違いがわかりませんでした。

初心者向けの Python ブック Think Python からこのコードを実行して、テキスト ファイルでマルコフ分析を実行しようとしています。解決策として提供されたコードを実行すると、random.py モジュールから IndexError: List index out of range が発生します。何を変更する必要がありますか?

このコードはThink Pythonの演習 8 の答えになるはずですが、うまくいきません。

トレースバック:

編集: .txt ファイルで実行しています。Project Gutenburg からダウンロードした本のテキストです。

CTマルコフ過程を解くにはどのような方法がありますか?

出生死やいくつかのキューなどの既知のプロセスについては、問題を分析的に解決できることを知っていますか? しかし、解析的に解けない場合はどうやって解くのでしょうか?

数値法を使用する必要があるようです。ただし、それをサポートするツールはまだ見つかりません。MATLABにはodeメソッドがありますが、（常微分方程式）プロセスのodeを設定することに加えて、matlabがサポートしていない線形方程式を追加する必要がありますか?

これらの問題を解決するには？
ツールやその他の方法はありますか？

15.3列で、著者は入力ドキュメントからランダムにテキストを生成する方法を紹介しました。著者はまた、ソースコードを提供しました。

私はソースコードの上記の行に混乱しています。qsortの最後の引数は次のとおりです。

ただし、sortcmpの定義は異なります。実際、私のVS2010ではソースコードをコンパイルできません。

ゲームでは、ヒーローは 100% の確率でレベル 0 からレベル 1 に上がります。

レベル 1 の場合、1/3 の確率でレベル 2 に進み、1/3 の確率でレベル 0 に進み、1/3 の確率でレベル 1 にとどまります。

レベル 2 の場合、彼が勝つ確率は 1/9、レベル 1 に進む確率は 4/9、レベル 2 にとどまる確率は 4/9 です。

各ステップ (アップグレード/ダウングレード/同じレベルにとどまる) に 1 つの石がかかる場合、ヒーローは勝つために平均何個の石を支払いますか?

割り当てにポリシー反復と値反復を使用する MDP エージェントを考え出し、そのパフォーマンスを状態の効用値と比較することになっています。

MDP エージェントは、遷移の確率と報酬を知っている場合、移動するアクションをどのように知るのでしょうか?

私の理解では、MDP エージェントはポリシーの反復を実行し、ポリシーが与えられると、終了状態に到達する間に獲得した報酬を計算します。このポリシーは、値反復アルゴリズムから開発されています。

ポリシーの反復がどのように機能するかについて、誰かが直感を提供できますか?

ランダム書き込みプログラム (テキスト ファイルの形式で入力を受け取る) の構造を概念的に理解し、マルコフ アルゴリズムを使用してやや賢明な出力を作成するのに少し問題がありました。

したがって、私が使用しているデータ構造は、0 ～ 10 の範囲のケースを使用することです。case 0:文字/記号または数字が表示される数字を数え、これに基づいて新しいテキストを作成し、入力をシミュレートします。入力テキスト内の一意の各文字とテキスト内の文字数の配列を保持する Map 型を使用して、これを既に実装しています。したがって、特定の文字の配列のサイズを尋ねるだけで、このように簡単に出力テキストを作成できます。

しかし、今度は case1/2/3 などを作成する必要があります... case 1 には、どの文字がどの文字の後に表示される可能性が最も高いかも含まれています。これらの場合に 10 個の個別の配列を作成する必要がありますか、それとももっと簡単な方法がありますか?

マルコフ モデルを使用して疑似ランダム テキスト ジェネレーターを作成しています。基本的に、ハッシュ テーブルを使用して k 次数 (マルコフ モデルの次数) の部分文字列のリストを格納します。次に、部分文字列ごとに、部分文字列全体の頻度を含むサフィックスの TreeMap を作成します。

ランダムサフィックスの生成に苦労しています。部分文字列ごとに、考えられるすべてのサフィックスとその頻度を含む TreeMap があります。これを使用して各サフィックスの確率を作成し、確率に基づいて疑似ランダムサフィックスを生成するのに問題があります。

これの概念とこれを行う方法についての助けをいただければ幸いです。ご不明な点やご不明な点がございましたら、お気軽にお問い合わせください。

マルコフ決定問題について学習しようとしており、値の反復のアルゴリズムが与えられましたが、それらを実際の C++ コードに変換する方法がわかりません。主に総和などが発生する部分。アルゴリズムは次のとおりです。

これは私には象形文字のように見えますが、もっと役立つ単純なアルゴリズムはありますか? それとも、誰かが私のためにそれを馬鹿にすることができますか?

私は宿題のために値の反復を実装している最中です。順調に進んでいますが、特定の部分、特に以下に示す行について混乱しています

私は一般的に行の要点を理解していますが、更新されたユーティリティを古いバージョンまたは最後に更新された状態と比較する必要がありますか? 現在、私が持っているものは機能しているようです（ほとんど:P）が、このようなアルゴリズムの他のバージョンにはk <- k + 1 と ∀s |Vk[s]-Vk-1[s] があるため、混乱しました| | < θ 私は間違っていると思います。

これが私のコードです：

そして、次の出力が得られます。