問題タブ [activation-function]

sigmoid などよりも優れているという投稿やページをよく目にするので、XOR 問題で ReLU 活性化関数を使用してパフォーマンスを確認してみました。私はこのコードを使用しました：

これにより、 RELU を TransferFunctionType に追加します。

私は neuroph 2.92 を使用していますが、実行すると Total Network Error = 0.25 で動かなくなりました。私も TANH を使用しましたが、1.25 でスタックしていましたが、SIGMOID は簡単に合計エラー < 0.01 になりました。または私はどこかで間違いを犯しました。ありがとう

入力をエンコードするために RNN を使用する複雑なニューラル ネットワーク アーキテクチャをトレーニングしています。

現在、アーキテクチャのディープ ニューラル ネットワーク部分 (ユニット数と隠れ層の数) を最適化しています。

現在、すべてのレイヤーにシグモイド活性化を使用しています。これは少数の隠れ層では問題ないように見えますが、層の数が増えるにつれて、シグモイドは最良の選択ではないようです。

最初にシグモイドのハイパーパラメータ最適化を行い、次に ReLu を行うべきだと思いますか、それとも ReLu を直接使用する方がよいでしょうか?

また、ソフトマックス出力があることを考えると、最初の隠れ層に Relu を配置し、最後の隠れ層にのみシグモイドを配置することは理にかなっていると思いますか。