問題タブ [cross-entropy]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
machine-learning - ワンホット ベクトルのすべてのコンポーネントにペナルティを課すバイナリ クロスエントロピー
2つのクラスの場合、バイナリクロスエントロピーはカテゴリカルクロスエントロピーと同じであることを理解しています。
さらに、ソフトマックスとは何かは明らかです。
したがって、カテゴリクロスエントロピーは、1 であるべき 1 つのコンポーネント (確率) にペナルティを課すだけであることがわかります。
しかし、ワンホット ベクトルでバイナリ クロス エントロピーを使用できない、または使用すべきではないのはなぜですか?
バイナリ クロスエントロピーでは、ゼロがターゲット クラスであり、次のワンホット エンコーディングに対応することがわかります。
要約すると、予測されたクラスの負の対数尤度を計算/要約するのはなぜですか。他の SHOULD-BE-ZERO-/NOT-THAT-CLASS クラスにペナルティを課さないのはなぜですか?
バイナリクロスエントロピーをワンホットベクトルに使用する場合。予想されるゼロ ラベルの確率にもペナルティが課せられます。
machine-learning - RNN がクロスエントロピーを損失関数として使用する理由
私はニューラル ネットワークに非常に慣れていないので、RNN のすべての例、特に char-rnns がクロスエントロピー損失関数を損失関数として使用する理由を知りたいと思っていました。私はグーグルで検索しましたが、このコンテキストでの機能に関する議論に出くわすことはできません. 私はその使用の動機付けとその長所と短所を調べるように求められたので、私が読むことができる論文や情報源は非常に高く評価されます.