問題タブ [lstm]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
neural-network - Neural Network Reinforcement Learning Requiring Next-State Propagation For Backpropagation
I am attempting to construct a neural network incorporating convolution and LSTM (using the Torch library) to be trained by Q-learning or Advantage-learning, both of which require propagating state T+1 through the network before updating the weights for state T.
Having to do an extra propagation would cut performance and that's bad, but not too bad; However, the problem is that there is all kinds of state bound up in this. First of all, the Torch implementation of backpropagation has some efficiency shortcuts that rely on the back propagation happening immediately after the forward propagation, which an additional propagation would mess up. I could possibly get around this by having a secondary cloned network sharing the weight values, but we come to the second problem.
Every forward propagation involving LSTMs is stateful. How can I update the weights at T+1 when propagating network(T+1) may have changed the contents of the LSTMs? I have tried to look at the discussion of TD weight updates as done in TD-Gammon, but it's obtuse to me and that's for feedforward anyway, not recurrent.
How can I update the weights of a network at T without having to advance the network to T+1, or how do I advance the network to T+1 and then go back and adjust the weights as if it were still T?
neural-network - Caffe の LSTM モジュール
Caffe 用の優れた LSTM モジュールが存在するかどうかを知っている人はいますか? russel91 の github アカウントから 1 つ見つけましたが、例と説明を含む Web ページが消えたようです (以前はhttp://apollo.deepmatter.io/ --> 例や説明がなくなったgithub ページにのみリダイレクトされるようになりました)。
javascript - Synaptic JS LSTM が大量のメモリを消費する
https://github.com/cazala/synapticパッケージの使用
次の構成で Architect 経由で LSTM モジュールを試しました。
次に、私のアルゴリズムは約450〜500回の反復を行い、各反復でネットワークをアクティブにしてから正しい出力値を伝播します。
400 ～ 500 回の繰り返しの後、突然停止し、約 14GB のメモリを消費し始めます。この単一のステップの前に、約 1GB を使用します。
原因がトレースなのか最適化なのかはわかりませんが、ネットワークが使用できなくなります。
残りのコードでメモリ リークをテストしたところ、問題の原因は activate 関数であることがわかりました。
これは、この問題を示すサンプル コードです。Intel Core i5 と 8GB RAM を搭載した私の MacBook Pro では、ステップ 512 で停止し、最大 14GB のメモリを消費し始めます。
問題が発生する可能性のあるアイデアはありますか?
これも問題として投稿しましたhttps://github.com/cazala/synaptic/issues/56
本当に高速な Python PyBrain ライブラリを試しましたが、ニューラル ネットワークと LSTM の実装が異なります。最良の結果が得られるため、次の論文による正確な実装が必要です。
classification - 分類のための双方向 LSTM
「分類問題のために双方向lstmネットワークを実装する方法（虹彩データなど）」の検索は終了しました。満足のいく答えは見つかりませんでした。ほとんどすべてのケースで、BLSTM をシーケンス予測問題に実装するソリューションを思いつきました。私の簡単な質問は、pybrainで双方向ネットワークを作成するにはどうすればよいかということです。私がそれを構築しようとしているときはいつでも私は書いています*
ネットワーク = pybrain.BidirectionalNetwork()
* 私の意図は、後で pybrain.addInputModule() などでモジュールを追加することでした。しかし、私はseqlenを次のように指定していないので、もちろん失敗しています
4 つの入力と 3 つの出力 (虹彩データのように) と 150 のサンプル データがある場合、seqlen はどうなるでしょうか。150になりますか？分類問題の例がないため、明確ではありません。
python - 双方向 LSTM-CRF ネットワークの実装
最後に CRF レイヤーを備えた双方向 LSTM ネットワークを実装する必要があります。具体的には、このホワイト ペーパーで提示されているモデルを作成し、それをトレーニングします。
http://www.aclweb.org/anthology/P15-1109
できればPythonで実装したいです。これをどのように行うことができるかについて、誰でもいくつかのライブラリまたはサンプルコードを提示できますか? PyBrainを見ましたが、よくわかりませんでした。
また、他のプログラミング言語のツールキットにもオープンです。
python - Keras io を使用した最も単純な Lstm トレーニング
keras python ライブラリを使用して、最も単純な LSTM を作成したいと思います。
次のコードがあります。
しかし、うまくいかないようです...
誰が正確に何がうまくいかないのか説明できますか?
また、行列を転置しようとしましたが、それだけではありません。