問題タブ [recurrent-neural-network]

Web で見つけられるほぼすべてのリソースを調べて、誰かが Caffe で RNN/LSTM を使用した回帰の例を投稿したかどうかを確認しました (ここ、ここ、およびここ)。残念ながら、そのようなリソースは今のところ存在しないようです。PythonでJeff Donahueバージョンを使用しています。

私が探しているのは、非常に単純なものです。たとえば、(x,y)ペアの100 個のデータ ポイントがあるとします。あなたならどうしますか：

1. 入力行列の作成。
2. 継続行列の作成 (必要かどうか)
3. ターゲット マトリックスの作成。
4. prototxt ファイルはどのようになりますか?
5. このモデルを使用して外挿 (予測) できますか?

また、データが多次元の場合、最初の 3 つの項目がどのようになるか。たとえば、Xはd次元のベクトルで、Yはk次元のベクトルです。

Python でデータをフォーマットする手順をカバーしている限り、独自の例を自由に使用してください。

ここで、これに関するカフェユーザーの質問も開いたことに注意したいだけです。

テンソルフローで最小限のおもちゃの RNN の例を実装しようとしています。目標は、入力データからターゲット データへのマッピングを学習することです。

更新：私たちはそこに着いています。残っている唯一の部分は、それを収束させることです (そして、より複雑になりません)。誰かが以下を実行中のコードに変換したり、簡単な例を提供したりできますか?

個別の音声 (0 から 9 までの個々の数字) を認識するために、双方向 LSTM モデルをトレーニングする必要があります。100 人のスピーカーからの音声を録音しました。次に何をすべきですか？(ファイルごとに 1 つの数値を含む個々の .wav ファイルに分割するとします) ネットワークの機能として mfcc を使用します。

さらに、CTC (Connectionist Temporal Classification) をサポートするライブラリを使用する場合、データセットの違いを知りたいです。

画像キャプションに VGG 16-Layer Caffe モデルを使用し、画像ごとに複数のキャプションを付けました。次に、それらのキャプション (単語) から文を生成したいと考えています。
LSTM に関する論文を読んで、トレーニング ネットワークから SoftMax レイヤーを削除し、4096 特徴ベクトルをfc7レイヤーから直接 LSTM に提供する必要があると読みました。
私はLSTMとRNNのことは初めてです。
どこから始めればよいですか？シーケンスのラベル付けによって文を生成する方法を示すチュートリアルはありますか?

出力がtanh関数の場合、-1 から 1 の間の数値が得られます。

出力を y 値のスケールに変換するにはどうすればよいですか (現在は約 15 ですが、データによって異なります)。

それとも、ある種の既知の範囲内で変化する機能に制限されていますか...?

私は RNN を使用してドメイン固有の分類研究を実行しようとしており、数千万のテキストを蓄積しています。データセット全体を実行するには数日から数か月かかるため、テスト用にほんの一部、たとえば 100 万個のテキスト (トレーニング用に 80%、検証用に 20%) だけを選びました。コーパス全体を単語ベクトル化で事前トレーニングし、モデルに Dropout を適用してオーバーフィッティングを回避しました。12 時間以内に 60000 個のテキストをトレーニングしたところ、損失はすでにかなり低いレベルにまで落ちており、精度は 97% でした。続けるべきか？トレーニングの継続に役立ちますか？

それはまだ最初のエポックを実行中であり、私が今停止した場合、モデルは全体をカバーしていないのではないかと心配しています...