問題タブ [lstm]

チュートリアルで示されているように、LSTM の単純なコンストラクターと次元 [ , ,1] の入力を使用すると、形状 [ , ,num_units] の出力が表示されることが期待されます。ただし、構築中に渡された num_units に関係なく、出力は入力と同じ形状になります。

以下は、この問題を再現する最小コードです...

修飾されていない LSTM (つまり、デフォルト モード) は、ユニットごとに 1 つの出力を生成する必要があります。コードは kaixhin の cuda lasagne で実行されまし た 。ありがとう ！

これは、Neurolab Python LibraryのElman Recurrent Neural Networkの使用例です。

この例では、 2 単位長の入力と2 単位長の出力をマージ しています。その後、これらのマージされた配列を使用してネットワークをトレーニングします。

まず第一に、私がここから得たスキーマのようには見えません:

私の主な質問は次のとおりです。

次のような任意の長さの 入力と出力でネットワークをトレーニングする必要があります。

• 固定長出力への任意長入力
• 固定長入力から任意長出力へ
• 任意の長さの入力から任意の長さの出力へ

この時点で、「あなたの答えはLong short-term memory networksです」ということが頭に浮かびます。

それはわかっていますが、Neurolabは優れた機能を備えているため使いやすいです。特に、それは非常にPythonicです。だから私は自分の問題にNeurolab Libraryを使うことを主張しています。しかし、より優れたLSTM機能を備えた Neurolab のような別のライブラリを提案していただければ、それを受け入れます。

最終的に、この例を任意の長さの入力と出力に再配置するにはどうすればよいですか?

私は RNN と LSTM についてよく理解していないので、説明してください。

theano/keras で LSTM を使用して言語モデルを実装しようとしています。私のネットワークは正常に動作し、トレーニングの損失が減少していることもわかりますが、ネットワークを長時間トレーニングしなくても、テストの精度は常に 99% を超えています。word2vec ベクトルを使用し、埋め込みレイヤーに重みを埋め込みました。私のネットワークは次のようになります。

私のトレーニングとテストの配列形状は次のとおりです。

100000 のトレーニング文と 10000 のテスト文があり、各文には 18 語が含まれています。出力するクラス数は 998 です。

真のテストエラーが発生しない理由を誰かが提案できますか?

TensorFlowでsequence-to-sequence モデルをトレーニングするための非常に優れたチュートリアルです。単一のマシンで一連の GPUを利用してパフォーマンスを向上させる分散バージョンがあるかどうかを知りたいだけですか?

TensorFlow のホワイト ペーパーでは、ニューラル ネットワークを使用したSequence to Sequence Learning で使用されているように、大規模な多層再帰型ニューラル ネットワークをトレーニングできることが言及されています (図 8および「モデルの並列トレーニング」セクションを参照) 。現在のチュートリアルがモデルの並列トレーニングをカバーしているかどうか知っている人はいますか? 「いいえ」の場合、一連の GPU を活用するために元のチュートリアルを改善するにはどうすればよいですか?

私は Keras を初めて使用し、LSTM を使用して文内の各単語の極性を予測したいと考えています。対応する事前に訓練された単語ベクトルによって、各文を表しています。したがって、私の入力表現は (maxlen,input_dimensions) です。しかし、ラベルを付ける方法を理解できません。各文について、単語は 3 つのクラス (pos/neg/neutral) に分類できます。したがって、[0,2,0,0,1.....] のようになります。この出力を順次モデルに与えるにはどうすればよいですか?

Tensorflow で LSTM ネットワークを作成しようとしていますが、用語や基礎がわかりません。私はn 個の時系列の例を持っているので、X = x _n、ここで x _i =[[x ₁ ¹ x ₁ ² ,x ₁ ³ ],...,[x _m ¹ x _m ² ,x _m ³ ]] と x _i ⁱは float です。まず、シーケンスの開始 ([x ₁ ¹ x ₁ ² ,x ₁ ³]) 残りのシーケンスを予測できます。その後、各x _iがどのバイナリ クラスに属するかを予測する分類器を含めたいと考えています。

だから私の問題は、モデルの最初に何を入れて最後に引き出すのですか? これまでのところ、以下のようなものがあります

編集:具体的に__init__は、データと互換性があるように機能を終了するにはどうすればよいですか?

現在、時系列を予測するための単純なモデルを構築しようとしています。目標は、モデルが将来の値を予測できるように、シーケンスを使用してモデルをトレーニングすることです。

そのために、tensorflow と lstm セルを使用しています。モデルは、切り捨てられたバックプロパゲーションを経てトレーニングされます。私の質問は、トレーニング用のデータを構造化する方法です。

たとえば、与えられたシーケンスを学習したいとしましょう:

のネットワークを展開しますnum_steps=4。

オプション1

オプション 2

オプション 3

オプション 4

どんな助けでも大歓迎です。

1 つの列で構成される単純なデータフレームがあります。その列には 10320 個の観測値 (数値) があります。それぞれ 200 観測のウィンドウでデータをプロットに挿入して、時系列データをシミュレートしています。プロットのコードは次のとおりです。

これにより、リアルタイム データの流れをシミュレートし、視覚化します。私が望むのは、theanets RNN LSTM をデータに適用して、教師なしの異常を検出することです。教師なしで行っているため、データをトレーニング セットとテスト セットに分割する必要はないと思います。これまでのところ、意味のあるものはあまり見つけられておらず、約2時間グーグルで検索しています. あなたたちが助けてくれることを願うばかりです。RNN の予測出力もグラフに表示し、エラーが大きすぎる場合に値が異常であると識別されるしきい値を定義したいと考えています。さらに情報が必要な場合は、コメントしてお知らせください。ありがとうございました！