問題タブ [recurrent-neural-network]

実際のところ、原点からの距離でソートせずに再帰型 NN を実行しても機能しますが、それほど効率的ではありません。複数のストリームを使用すると、ウェーブフロントの順序でカーネルを起動しないと、Cuda スケジューラーが詰まってしまいます。

上記の NN が必要なこと、または F# の例は純粋にコンテキストのためです。

私は 2 次元でそれを行う方法を知っていますが、3D とそれ以上については、少しハックすることしか頭にありません。任意の次元の長さと次元数について、上記のソートベースのアプローチに似た波面反復を行うエレガントな方法があるかどうか疑問に思っていましたか?

基本的な MLP や畳み込みニューラル ネットワークなど、TensorFlow を使用していくつかのニューラル ネットワークを構築しました。次に、再帰型ニューラル ネットワークに移りたいと思います。ただし、自然言語処理の経験はありません。したがって、RNN の TensorFlow NLP チュートリアルは、私にとっては読みにくいものです (そして、あまり面白くもありません)。

基本的に、LSTM ではなく単純なものから始めたいと思います。

Elman ネットワークのようなシンプルなリカレント ニューラル ネットワークを TensorFlow で構築するにはどうすればよいでしょうか?

TensorFlow の GRU または LSTM RNN の例しか見つけることができませんでしたが、ほとんどは NLP でした。TensorFlow の簡単なリカレント ニューラル ネットワークのチュートリアルや例を知っている人はいますか?

この図は、基本的な Elman ネットワークを示しています。これは、しばしば単純に SRN (単純再帰型ネットワーク) と呼ばれます。

tanhTensorFlow のデフォルト以外の伝達関数をいくつか試してみたいと思いますBasicRNNCell。

元の実装は次のようになります。

...そして私はそれを次のように変更しました:

vs.variable_scopeへの変更tf.variable_scopeは成功しましたlinearが、 > rnn_cell.py <の実装であり、tfそれ自体では使用できません。

どうすればこれを機能させることができますか?

linear完全に再実装する必要がありますか? （私はすでにコードをチェックしましたが、そこでも依存関係の問題に遭遇すると思います...）

いくつかの時系列データで GRU セルを実行して、最後の層の活性化に従ってそれらをクラスター化したいと考えています。GRU セルの実装に 1 つの小さな変更を加えました

この後、この GRU セルを呼び出すスクリプトでアクティベーションを返す前に、次の方法でアクティベーションを連結します。

次の方法で GRU セルを呼び出します

入力バッチsの各要素のタイムスタンプの数を含むバッチ長の配列です。

そして最後に、使用してフェッチします

実行すると、次のエラーが表示されます

トレースバック (最新の呼び出しが最後): ファイル "xxx.py"、162 行目、取得済み = sess.run(fetches=cell.activations, feed_dict=feed_dict) ファイル "/xxx/local/lib/python2.7/site- packages/tensorflow/python/client/session.py"、315 行目、実行中 return self._run(None, fetches, feed_dict) ファイル "/xxx/local/lib/python2.7/site-packages/tensorflow/python/ client/session.py"、511 行目、_run feed_dict_string) ファイル "/xxx/local/lib/python2.7/site-packages/tensorflow/python/client/session.py"、564 行目、_do_run target_list) ファイル"/xxx/local/lib/python2.7/site-packages/tensorflow/python/client/session.py"、588 行目、_do_call six.reraise(e_type, e_value, e_traceback) ファイル "/xxx/local/lib /python2.7/site-packages/tensorflow/python/client/session.py」、571行目、in _do_call return fn(*args) ファイル "/xxx/local/lib/python2.7/site-packages/tensorflow/python/client/session.py"、555 行目、_run_fn

return tf_session.TF_Run(session, feed_dict, fetch_list, target_list) tensorflow.python.pywrap_tensorflow.StatusNotOK: 無効な引数: RNN/cond_396/ClusterableGRUCell/flatten_activations:0 に対して返されたテンソルが無効でした。

可変長シーケンスを渡して、最後のステップで GRU セルからアクティベーションをフェッチする方法について、誰かが洞察を与えることができますか? ありがとう。

私は現在、MNIST の例のような例を研究することで、畳み込みニューラル ネットワークについて学んでいます。ニューラル ネットワークのトレーニング中に、次のような出力がよく見られます。

エポック以外に、各列が正確に何を表し、値が何を意味するかについて誰かが説明してくれますか? 基本的な cnn に関するチュートリアルはたくさんありますが、これについて詳しく説明しているチュートリアルには出会っていません。

私は neurolab python ライブラリの使用に問題があります: Elman 再帰型ニューラル ネットワークの助けを借りて、いくつかの時系列を予測しようとしています:

1 つの入力時系列 (入力ベクトル) のみで正常に動作します。しかし、複数の入力ベクトルが必要です。実際には、5 つの入力ベクトルが必要です。この問題を解決する方法を知っている人はいますか？ご協力いただきありがとうございます！

tensorflow の API に既にバッチ正規化関数があることに気付きました。私が理解していないことの1つは、トレーニングとテストの間で手順を変更する方法ですか?

バッチ正規化は、トレーニング中とテスト中では異なる動作をします。具体的には、トレーニング中に固定平均と分散を使用します。

どこかに良いサンプルコードはありますか？いくつか見ましたが、スコープ変数で混乱しました

Keras で RNN の入力データを準備するのに問題があります。

現在、私のトレーニング データの次元は次のとおりです。(6752, 600, 13)

• 6752: 学習データ数
• 600: 時間ステップ数
• 13: 特徴ベクトルのサイズ (ベクトルは float です)

X_train両方ともY_trainこの次元にあります。

SimpleRNNこのデータをKerasにフィードする準備をしたいと思います。ステップ #0 からステップ #599 までの時間ステップを経ているとします。を使用したいとしましょうinput_length = 5。つまり、最近の 5 つの入力を使用したいということです。(例: ステップ #10、#11、#12、#13、#14 @ ステップ #14)。

どのように整形すればよいX_trainですか？

それはあるべきですか(6752, 5, 600, 13)、それともあるべき(6752, 600, 5, 13)ですか？

そして、どのような形にするべきY_trainですか？

(6752, 600, 13)またはまたはである必要があります(6752, 1, 600, 13)か(6752, 600, 1, 13)?