問題タブ [relu]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
deep-learning - ReLU がニューロンを殺すのはいつですか?
瀕死のReLUの問題について混乱しています。ReLUはフォワードパス中にのみニューロンを殺しますか? それとも後方パス中ですか? </p>
python - Tensorflow ReLu が動作しませんか?
活性化関数としてreluを使用してテンソルフローで畳み込みネットワークを作成しましたが、学習していません（評価とトレーニングの両方のデータセットで損失が一定です）。さまざまなアクティベーション関数について、すべてが正常に機能します。
nn が作成されるコードは次のとおりです。
self.activation は tf.nn.relu に設定され、self.last_activation は tf.nn.softmax に設定されます
損失関数とオプティマイザーはここで作成されます。
初期化子として渡すことで変数の初期化を変更しようとしtf.random_normal_initializer(0.1, 0.1)ましたが、損失関数は変更されませんでした。
このニューラル ネットワークを ReLu で動作させるための助けをいただければ幸いです。
編集：Leaky ReLuにも同じ問題があります
編集:同じエラーを複製できた小さな例:
h_d および y_d カーネルの勾配 (tf.gradients で計算) とバイアスが 0 に等しいか、0 に近い