問題タブ [lstm]

特に、LSTM レイヤーが (たとえば) 50 個のセルを持つことの意味について混乱しています。このすばらしいブログ投稿の次の LSTM ブロックを検討してください。

私の入力xtが(20,)ベクトルで、隠れ層htが(50,)ベクトルだとします。セル状態が新しい隠れ状態になる前にCt点単位の操作 (点単位tanhおよび) のみを受けることを考えると、それを収集します。ここで、忘却ゲートは、隠れ層と連結された入力を調べます。これはベクトルになります。つまり、忘却ゲートは のような形状の重み行列を持たなければなりません。*Ct.shape = ht.shape = (50,)(20+50,) = (70,)(50, 70)dot(W, [xt, ht]).shape = (50,)

この時点での私の質問は、いつ 50 セルの LSTM ブロックを見ているのCt.shape = (50,)でしょうか? それとも、LSTM レイヤーに 50 個のセルがあることの意味を誤解していますか?

EC2 の Torch で LSTM モデルを実装しようとしています。

Torch の経験はありませんが、次のコードを見つけました: http://apaszke.github.io/lstm-explained.html

LSTM.lua スクリプトをロードして、EC2 で Torch を実行しています。

ガイドを読みましたが、データを追加してモデルをトレーニングする方法がわかりません。:forward と :backward をループに入れるだけですか?

PC で imdb_lstm.py をトレーニングしました。ここで、独自のテキストを入力して、トレーニング済みのネットワークをテストしたいと考えています。どうすればいいのですか？ありがとうございました！

ATIS データセットを分類するための LSTM モデルを構築しようとしています。

未定義のサイズ N の文から、コンテキスト ウィンドウの単語埋め込み行列を生成します。それが私のモデルを養うために必要なものですが、そうする方法がわかりません。

入力レイヤーを次のように定義すると:

私は得る：

l_in 宣言で入力形状を定義すると、次のように機能します。

ポイントは、各文のサイズが異なるため、コンテキスト ウィンドウの単語埋め込み行列の形状が異なることです。私に何ができる？

私の問題:複雑な状態のシーケンスがあり、将来の状態を予測したい。

入力: 一連の状態があります。各シーケンスは可変長にすることができます。各状態は時間内の瞬間であり、いくつかの属性 [att1、att2、...] によって記述されます。各属性は、間隔 [[0..5]、[1..3651]、...] の間の数値です。

Seq2Seq の例 (および論文) は、各状態 (単語) が辞書から取得されることに基づいています。したがって、各州には約 80,000 の可能性があります。しかし、ベクトルのセットから取得された各状態をどのように表現し、そのセットが属性の可能な各組み合わせに過ぎないのでしょうか。

TensorFlow でより複雑な状態を処理する方法はありますか? また、入力の長さと出力の長さの関係が不明な場合、バケットの境界を決定する良い方法は何ですか?

私は次のモデルを持っています：

次に、次の方法でモデルを cuda に配置します。

入力（cudatensor）を転送しようとすると、壊れます。

FastLSTM は cuda と互換性がありませんか?

メッセージ：

RNNを使って音声認識をしようとしています。RNN ベースの音声認識に使用できる最高の theano ベースのライブラリに関する提案を得ることができれば、非常に役に立ちます。(CTC Connectionist Temporal Classification も使用したいと考えています)

1 つの入力と 1 つの出力を持つおもちゃのデータセットがあります。入力はランダムな 0 または 1 で、出力は前の 3 つのサンプルからの入力と同じです。

モデル 1:

モデル 2:

基準：

最初のモデルは学習せず、2 番目のモデルは機能しません (私のデータがシーケンサーにとって間違った種類である可能性があります)。

編集：

トレーニング：

トレーニングを通じてモデル 2 を実行すると、エラーが発生するようになりました。エラー

AbstractRecurrent.lua:61: gradInput がありません

オンラインで発生

lstm.modules[1]:backwardThroughTime()