問題タブ [markov-models]

HMMを始めたいのですが、やり方がわかりません。ここにいる人は、どこを見ればよいか、いくつかの基本的な指針を教えてもらえますか?

理論だけでなく、多くの実践的なことをするのが好きです。したがって、単なるテキストではなく、学習を確認するための小さなコード スニペットを記述できるリソースを好むでしょう。

言語学コースでは、隠れ変数が品詞である隠れマルコフ モデルを使用して、品詞 (POS) タグ付けを実装しました。タグ付けされたデータでシステムをトレーニングし、テストして、結果をゴールド データと比較しました。

タグ付けされたトレーニング セットなしで HMM をトレーニングすることは可能でしたか?

• 部分観測マルコフ過程で確率関数を実装するために多層NNを使用しようとしています。
• NNへの入力は次のようになると思いました：現在の状態、選択されたアクション、結果の状態。出力は[0,1]の確率です（現在の状態で選択されたアクションを実行すると結果の状態につながる可能性があります）
• トレーニングでは、前述の入力をNNにフィードし、すでに発生した各ケースのoutput=1.0を教えました。

問題：
ほぼすべてのテストケースで、出力確率は0.95に近いです。0.9未満の出力はありませんでした。ほぼ不可能な結果であっても、それはその高い確率を与えました。

PS：これは、起こったケースだけを教えたからだと思いますが、起こっていないケースは教えていません。しかし、エピソードの各ステップで、起こっていないアクションごとにoutput=0.0を教えることはできません。

この問題を克服する方法について何か提案はありますか？または、NNを使用したり、prob関数を実装したりする別の方法でしょうか？

ありがとう

更新ルール TD(0) Q-Learning:

Q(t-1) = (1-alpha) * Q(t-1) + (alpha) * (Reward(t-1) + gamma* Max( Q(t) ) )
次に、現在のベスト アクション (最適化) またはランダム アクション (エクスプローラー) のいずれかを実行します。

MaxNextQ は、次の状態で取得できる最大 Q です...

しかし、TD(1) では、更新ルールは次のようになると思います。

Q(t-2) = (1-alpha) * Q(t-2) + (alpha) * (Reward(t-2) + gamma * Reward(t-1) + gamma * gamma * Max( Q(t) ) )

私の質問:
この用語gamma * Reward(t-1)は、私が常に最善を尽くすことを意味しt-1ます.. これは探索を妨げると思います..
誰かヒントをくれませんか?

ありがとう

C# での隠れマルコフ モデルの実装に関するこの優れた記事では、トレーニング データに基づいて 1 つのビット シーケンスを適切に分類しています。

複数の同時ビット シーケンスの分類をサポートするために、アルゴリズムを変更する方法、またはアルゴリズムを構築する方法 (複数の HMM ?)

例

1 つのストリームだけを分類する代わりに、次のようにします。

むしろ、デュアル ビット ストリームを分類します。

またはさらに良いことに、3 つのストリーム:

明らかに、トレーニング データも拡張されます。

隠れマルコフ モデルと状態 SI が与えられた場合、時間 O(|S|) で指定されたシーケンス X の隠れマルコフ モデルを通る最も可能性の高いパスを返すアルゴリズムを見つける必要があるという問題があります。

X のさまざまな位置にすべてのさまざまな状態を持ち、このグラフで最短経路アルゴリズムを実行するグ​​ラフを開発することを考えていました。ただし、n|S|^2 個のエッジ (n は X の状態の数) と n|S| があります。頂点。

私が見つけた最良のアルゴリズムは、私の場合は O(|S|^2) である時間 O(|E|+|V|) で実行される非巡回最短パスです。時間 O(|S|) で実行するために開発できるアルゴリズムはありますか? 私が必要とするのは、一般的なアイデアだけです。

ありがとう

マルコフ手法を使用して、欠落している情報を自然言語テキストに復元することを考えていました。

• すべて大文字のテキストを大/小文字混合に戻します。
• アクセント/発音区別符号を、それらがあるはずの言語に復元しますが、プレーン ASCII に変換されています。
• 大まかな音声表記をネイティブのアルファベットに変換します。

難易度の低いものから難しいものの順に並んでいるようです。基本的に問題は、コンテキストに基づいてあいまいさを解決することです。

ウィクショナリーを辞書として使用し、ウィキペディアをコーパスとして使用して、n グラムと隠れマルコフ モデルを使用してあいまいさを解決できます。

私は正しい軌道に乗っていますか？この種のサービス、ライブラリ、またはツールはすでにありますか?

例

• ジョージは茂みの中でSIMカードをなくしました ⇨ ジョージは茂みの中でSIMカードをなくしました
• tanto il rit a gorge deployee ⇨ tantot il rit à gorge déployée

データ圧縮にマルコフモデル/隠れマルコフモデルを使用するライブラリを探しています。.NET から使用する必要があります。私は MM/HMM コンプレッサーを探しましたが、役立つリファレンスは見つかりませんでした (私は悪いグーグルかもしれません)。

関連するリンクは非常に高く評価されます。

私はかなり長い間この問題に苦しんでおり、どんな助けも大歓迎です。

マルコフ モデルの観測データから遷移行列を計算する関数を作成しようとしています。

関数を構築するために使用している初期データは次のようになります。

5 つの季節と 4 つの州があります。

遷移行列を計算する方法はわかっていますが、これを行うには、シーズンごとに州 i から州 j に移動するチームの数を数える必要があります。

このようなことをするコードが必要です。

そして、チームと州のペアごとにこれを行い、5 シーズンすべてで繰り返すことができます。しかし、引用符で囲まれたものを R に伝える方法を理解するのに苦労しています。本当に明白な答えがある場合は申し訳ありませんが、私はごみのプログラマーです。

読んでくれてありがとう！

ロボットが 2D グリッドの世界を探索し、次に移動する正方形を決定する必要がある AI エンジンを作成するプロジェクトに取り組んでいます。使用できる既存の Markov ライブラリ (つまり、パラメーターを変更するだけ)、または存在するサンプルはありますか?