問題タブ [lstm]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
neural-network - Tensorflow 翻訳トレーニング - いつ停止しますか?
Google の Tensorflow の例を使用しています。うまく走れますが、while True:ループがあり、トレーニングが止まらないようです。参考：
translate.py
コーインtrain()：
python - tensorflow/tflearn 入力形状
音楽のシーケンスを生成する lstm-rnn を作成しようとしています。トレーニング データは、サイズ 4 のベクトルのシーケンスであり、トレーニングするいくつかの曲の各ノートのさまざまな機能 (MIDI ノートを含む) を表します。
私の読書から、私がやろうとしているのは、各入力サンプルに対して持っているように見えます.出力サンプルは次のサイズ4のベクトルです(つまり、現在のものから次の音符を予測しようとする必要があります.以前のサンプルの知識を組み込んだ LSTM)。
私はまだRNNに慣れていないので、tflearnを使用しています。次のコードがあります
このコードの前に、trainX と trainY を長さ 20 のシーケンスに分割しました (任意ですが、このようなシーケンスでのトレーニングがこれを行う良い方法であるとどこかで読みました)。
これは問題ないようですが、エラー ValueError: Cannot feed value of shape (128, 16, 4) for Tensor u'TargetsData/Y:0', which has shape '(?, 4)' が表示されます
SO: これまでの私の仮定では、入力形状 [None, seqLength, 4] が TF [batchLength (tflearn によって順次供給される)、シーケンスの長さ、サンプルの特徴の長さ] に言っているということです。私が理解していないのは、出力が間違った形状であると言っている理由ですか? データ シーケンスの分割について間違っていると思いますか? シーケンスに分割せずにすべてのデータを入力しようとすると、入力形状が [None, 4] になり、TF は、LSTM レイヤーが少なくとも 3 次元の入力形状を期待していることを通知します。
入力と出力の形状がどうあるべきか、頭を丸くすることはできません。これは単純なことのように感じます.ベクトルの入力シーケンスのセットがあり、ネットワークにシーケンスの次のシーケンスを予測させたいと思っています. かなり高度なレベルの知識を想定していないオンラインはほとんどないので、私はレンガの壁にぶつかりました. 誰かが与えることができる洞察に本当に感謝します！
lstm - LSTM ニューラル ネットワークの勾配 (Torch)
https://github.com/wojzaremba/lstmに実装されている LSTM 言語モデルを使用しています
次の lstm 関数を使用します
これは次のネットワークで使用されます (ソフトマックス層と基準層を削除し、コードの別の場所に別々に追加しました)
上記のネットワークは、ネットワークの出力と、次の反復で使用される lstm 層の状態を返します。状態は、2 層 lstm ネットワークの次の順序でテーブルに保存されます { cell_1, output_1, cell_2, output_2 }。ネットワーク出力と output_2 は同じです。
2 つの質問があります: (1) このネットワークに順伝播と逆伝播を適用すると、状態の勾配はどのように配置されますか? それらは上の表と同じ順序になりますか、それとも次のように逆になりますか: {grad_cell_2, grad_output_2, grad_cell_1, grad_output_1}
最初は出力テーブルと同じ順序になると思っていましたが、順序が逆になっているのではないかと疑う理由があります (反復ごとに勾配を手動で設定したいくつかのテストに基づいています)。確かなことはわかりませんが、このコードをデバッグして何が起こっているのかを正確に知る方法もわかりません。
(2) バックワード ステップで、出力のみの勾配 (状態テーブルの最後のエントリと同じ) がわかっている場合、出力 (res) または状態テーブル (next_s) の勾配を渡す必要があります。両方？出力は単にテーブルの最後のエントリであるため、勾配を出力のみに渡すか、状態テーブルの最後のエントリのみに渡すと、まったく同じ結果が得られると思います。ただし、両方の方法で試してみると、異なる結果が得られます。
neural-network - スパース出力のニューラル ネットワーク
この単純なタスクに還元できる興味深い問題があります。約 1% のスパース性を持つスパース バイナリ マトリックスをコピーすることを学習するニューラル ネットワーク (LSTM など) を考えてみましょう。
すべてのエントリに対して 0 を推測するだけのコスト関数を見ると、約 100% のスパース性になるため、すべて 0 を推測するだけで非常に高い精度を得ることができます。
疎行列表現またはコスト関数のいずれかを変更することによって、ニューラル ネットワークをこの巨大な局所的最小値から追い出す方法はありますか?
ありがとう！
tensorflow - テキスト生成に LSTM を使用する TensorFlow
tensorflow を使用してテキストを生成したいと考えており、これを行うために LSTM チュートリアル ( https://www.tensorflow.org/versions/master/tutorials/recurrent/index.html#recurrent-neural-networks ) コードを変更しています。しかし、私の最初の解決策はナンセンスを生成するようで、長時間トレーニングした後でも改善されません。理由がわかりません。アイデアは、ゼロ行列から始めて、一度に 1 つの単語を生成することです。
ジェネレーターは次のようになります
変数「確率」を ptb_model に追加しました。これは単にロジットに対するソフトマックスです。
そしてサンプリング：
python - Keras LSTM エラー
keras の例から LSTM テキスト ジェネレーターの例を実行しようとすると、次のエラーが発生します。
不明な引数: '-target-feature'。clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: ' -ターゲット機能」。clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-rdseed'。クラン: エラー: 不明な引数: '-target-feature'。clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-sha'。clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: 不明な引数: '-target-feature'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+cx16'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+xsave'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+bmi2'. clang: エラー: 言語が認識されません: 'savec'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+fsgsbase'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+avx'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+rtm'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+popcnt'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+fma'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+bmi'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+aes'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+rdrnd'. clang: エラー: 言語が認識されません: 'saves'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+sse4.1'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+sse4.2'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+avx2'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+sse'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+lzcnt'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+pclmul'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+f16c'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+ssse3'. clang: エラー: そのようなファイルまたはディレクトリはありません: 「+mmx」。clang: エラー: そのようなファイルまたはディレクトリはありません: '+cmov'. clang: エラー: 言語が認識されません: 'op'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+movbe'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+hle'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+xsaveopt'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+sse2'. clang: エラー: そのようなファイルまたはディレクトリはありません: '+sse3'. ", '[DotModulo(A, s, m, A2, s2, m2)]') そのようなファイルまたはディレクトリはありません: '+sse3'. ", '[DotModulo(A, s, m, A2, s2, m2)]') そのようなファイルまたはディレクトリはありません: '+sse3'. ", '[DotModulo(A, s, m, A2, s2, m2)]')
自分のデータを渡す以外は、コードに変更を加えていません。これが私のコードです。
私を助けてください。