問題タブ [batch-normalization]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
1 に答える
588 参照

tensorflow - tf.layers.batch_normalization を使用して、SELU アクティベーション関数の入力を前処理しますか?

SELU アクティベーション関数 ( https://github.com/bioinf-jku/SNNs/blob/master/selu.py ) では、平均値が 0.0 で分散が 1.0 になるように入力を正規化する必要があります。したがって、その要件を満たすために生データにtf.layers.batch_normalization( ) を適用しようとしました。axis=-1各バッチの生データは の形を[batch_size, 15]しています。ここで、15 は特徴の数を表します。以下のグラフは、tf.layers.batch_normalization(~20 エポック) から返されたこれらの機能の 5 つの分散を示しています。予想どおり、すべてが 1.0 に近いわけではありません。平均値もすべてが 0.0 に近いわけではありません (グラフは表示されていません)。

15 個の機能をすべて個別に正規化するにはどうすればよいですか (正規化後のすべての機能は平均 = 0 および var = 1.0 になると予想されます)。

ここに画像の説明を入力