neural-network - RNNを回帰ネットに変換するには?

Question

出力がtanh関数の場合、-1 から 1 の間の数値が得られます。

出力を y 値のスケールに変換するにはどうすればよいですか (現在は約 15 ですが、データによって異なります)。

それとも、ある種の既知の範囲内で変化する機能に制限されていますか...?

Answer 1

分類用のほとんどの RNN では、ほとんどの人が LSTM または tanh レイヤーの上にソフトマックス レイヤーを使用するため、ソフトマックスを線形出力レイヤーだけに置き換えることができると思います。これは、畳み込みニューラル ネットワークだけでなく、通常のニューラル ネットワークでも同じことを行う人がいます。隠れ層からの非線形性は依然としてありますが、出力は -1 や 1 などの特定の範囲内に制限されません。コスト関数は、言及されたラースパーのような二乗誤差になるでしょう。

Answer 2

Just remove the tanh, and your output will be an unrestricted number. Your error function should probably be squared error.

You might have to change the gradient calculation for your back-prop, if this isn't done automatically by your framework.

Edit to add: You almost certainly want to keep the tanh (or some other non-linearity) between the recurrent connections, so remove it only for the output connection.