python - TensorFlow: シンプルなリカレント ニューラル ネットワーク

Question

基本的な MLP や畳み込みニューラル ネットワークなど、TensorFlow を使用していくつかのニューラル ネットワークを構築しました。次に、再帰型ニューラル ネットワークに移りたいと思います。ただし、自然言語処理の経験はありません。したがって、RNN の TensorFlow NLP チュートリアルは、私にとっては読みにくいものです (そして、あまり面白くもありません)。

基本的に、LSTM ではなく単純なものから始めたいと思います。

Elman ネットワークのようなシンプルなリカレント ニューラル ネットワークを TensorFlow で構築するにはどうすればよいでしょうか?

TensorFlow の GRU または LSTM RNN の例しか見つけることができませんでしたが、ほとんどは NLP でした。TensorFlow の簡単なリカレント ニューラル ネットワークのチュートリアルや例を知っている人はいますか?

この図は、基本的な Elman ネットワークを示しています。これは、しばしば単純に SRN (単純再帰型ネットワーク) と呼ばれます。

Answer 1

1 つのオプションは、tensorflow/python/ops/rnn_cell.pyにある組み込みの RNNCell を使用することです。

それをしたくない場合は、独自の RNN を作成できます。RNN は、時間をかけて逆伝播を使用してトレーニングします。ネットワークを一定数のステップで展開してみてください。たとえば、長さ 10 の入力シーケンスを考えてみましょう。次に、Python でループを記述して、ネットワークの各ステップですべての行列乗算を行うことができます。前のステップから出力を取得し、そのステップへの入力と連結するたびに。これを機能させるのにそれほど多くのコード行は必要ありません。