問題タブ [lstm]

https://github.com/wojzaremba/lstm/blob/master/main.luaで lstm 言語モデルを使用しています

後で使用するために、トレーニングの最後にモデルを保存したいと考えています。トレーニングの最後に次の行を追加しました

モデルを正常に保存したようです。ただし、そのモデルをロードしてテストしようとすると、非常に困惑します。テストのためだけに、小さなトレーニング インスタンスを実行したところ、テスト セットのパープレキシティは 134 になり、モデルを保存しました。次に、保存したモデルをロードし、まったく同じテスト方法 (関数 run_test) を同じテスト セットに適用しましたが、71675.134 という大きな問題が発生しました (ランダムな重みを使用しても、問題はそれよりもはるかに少なくなります!)。重みのみを保存してロードし、保存する前にそれらを float() に変換するか、cudaTensor として保存しようとしましたが、すべて同じ結果が得られました。

モデル全体を保存した後の読み込みとテストのコードを次に示します。元の main.lua から main メソッドのみを変更しました。

学習目的で、Tensorflow で独自の LSTM モデルを構築したいと考えています。問題は、特定のタイムステップでの状態が前のタイムステップの状態を使用して初期化されるようにトレーニングする方法です。Tensorflow にこれのメカニズムはありますか?

組み込みの LSTM セルは、callable を提供します。ただし、LSTM レイヤーの前後に静的レイヤーを追加し、backprop を使用してすべてをトレーニングしたいと考えています。それは可能ですか？

私の主な問題は、基本的に 1 時間ごとの出力になる 60 分ごとの数値入力であるデータセットを前処理する方法です。各入力ベクトルが毎分何らかの出力を生成していることがわかりますが、残念ながら、この出力は 1 時間が経過するまで観察できません。

60 個の入力を、通常の ML 分類器の 1 時間ごとの出力に対応する 1 つの大きな入力ベクトルとして配置することを検討しました。したがって、一度に 1 つのサンプルを持ちます。しかし、それはもはや時系列ではないと思います。

それが LSTM 環境で実行可能であることをどのように表現できますか?

Tensorflow で LSTM モデルを使用しています。
すでに LSTM モデルをトレーニングして保存しました。今、私は文を生成する最後のタスクに取り組んでいます。ここに私の疑似コードがあります:

私の質問は次
のとおりです。 モデルをトレーニング、検証、またはテストするとき、入力とそのラベルの両方を(シフトされた入力によって) feed_dictディクショナリを介してモデルにフィードする必要があります。しかし、生成タスクでは、生成文new_sentenceである入力が 1 つしかありません。

正しいget_logits関数または完全な生成関数も構築するにはどうすればよいですか?