neural-network - softmax で (log) ではなく (exp) を使用するのはなぜですか?

Question

log と exp の関係についてはよくわかりません。しかし、ソフトマックス回帰ではログが使用されないことに混乱していますか?

特徴から確率セクション

Answer 1

Exp はすべての実数値に対して定義されますが、log は定義されません。

ゼロ以下のベクトル要素は、数値エラーまたは対数関数での未定義の動作につながります。exp にはこの問題はありません。

未定義を回避するには、すべての要素に非常に小さなバイアスを追加する必要があります。しかし、このイプシロンはどれくらい小さくなければならないのでしょうか? 負の数をどうするか. 負の数を期待することは決してないかもしれませんが、単純に切り捨てエラーによって、または浮動小数点表現に非常に近くなります (値が非常に小さいため、最終的に小さな負の数として表されます)。