問題タブ [relu]

このネットワークが学習を望まない理由がわかりますか? アイデアは、ReLU を前層の活性化関数として使用し、シグモイドを最終層の活性化関数として使用することです。シグモイドのみを使用した場合、ネットワークはうまく学習しました。ネットワークを検証するために、MNIST を使用しました。

- - - - - - - - 編集 - - - - - - - - - - - - - - -

--------------- 編集 2 --------------------------

イータ > 0

シグモイドでディープニューラルネットワークを使用しているときに勾配消失問題が発生し、 relu を使用するとこの問題は解決しますが、死んだニューロンの問題が発生し、漏れのある relu によって解決されることは誰もが知っています。RNN に勾配消失問題がある場合、なぜ LSTM に移行するのか。relu を使用して解決できない理由。

Reluニューラル ネットワークの構築中に活性化関数のしきい値を変更しようとしています。

したがって、最初のコードは以下に記述されたもので、relu しきい値のデフォルト値は 0 です。

ただし、Keras は同じ機能の実装を提供しており、ここで参照でき、スクリーンショットも追加できます。

そのため、次のエラーを取得するためだけにカスタム関数を渡すようにコードを次のように変更しました。

エラー： TypeError: relu() missing 1 required positional argument: 'x'

エラーは、relu 関数で x を使用していないことを理解していますが、そのようなものを渡す方法はありません。構文は私が書くことを期待していますmodel.add(layers.Activation(activations.relu))が、その後、しきい値を変更することはできません。これは、回避策または解決策が必要な場所です。

次に、以下に示すように機能するReLU関数のレイヤー実装を使用しましたが、レイヤーを追加するのが常に便利であるとは限らず、作成したいため、アクティベーション関数の実装を機能させる方法があるかどうかを調べたいと思いますDense 関数内のその他の変更。

私のために働いたコード:-