問題タブ [sigmoid]

Sigmoidアクティベーション機能を使用してニューラル ネットワーク タスクを実行しています。私のネットワーク入力は画像（MNISTデータセット）であり、各画像の次元は であるため28*28、それらをベクトルに変換する必要がある場合、N*784行列があります。この大きな行列と重み行列の乗算により、重みに対して大きな正と負の数値が生成され、それらをSigmoid関数に渡す必要があります。私はexpit()シグモイド関数として使用していますが、私の問題は次のとおりです。

30 までの数字は 1 インチに近くなりexpit()ます。たとえば、expit(28)results0.99999999とexpit(29)results1.0と upper29も取得し1ます。しかし、私の新しいワイトは上30にあり、そのため、学習の最初のサイクルでそれらのいくつかは取得1し、いくつかは0になり、実際にはまったく学習していません.

私がしなければならないこと？Sigmoid's上限は29？私はそれを変更することはできませんか？これを克服するには、画像のサイズを変更する必要がありますか?

Java でシグモイド関数を作成しました。これは、単一の数値を処理する場合は正常に機能しますが、最初のデータ入力後に配列が失敗する場合は機能します。私の問題を説明するためのデータを次に示します (出力は 3 桁に丸められます)。

私のコードは次のとおりです。

と

これが私の愚かな明らかな見落としである場合は、私が何時間も無駄にしようとしてきたので教えてください。

多層ニューラル ネットワークに XOR 関数を教えようとしています。アーキテクチャ [2、2、1] のネットワークがあります。損失を二乗誤差の合計として定義します (理想的ではないことはわかっていますが、そのようにする必要があります)。すべてのレイヤーのアクティベーション関数をシグモイド関数に設定すると、常に局所最適値 (約 0.25、すべての出力が約 0.5) でスタックします。隠れ層の活性化関数をReLUに変えると、同じ最適解に引っかかることもあるが、解けることもある。これはクロス エントロピーではなく平均二乗誤差を使用しているためでしょうか? 念のため、ニューラル ネットワークのコードを次に示します。

更新: より複雑なアーキテクチャ ([2,2,2,1]) を試しましたが、まだ成功していません。

私は論文を読んでいましたが、著者はネットワークを次のように説明しました。

「対応するディープ ネットワークをトレーニングするために、1 つの隠れ層を持つ全結合ネットワークが使用されます。ネットワークには 9 つのバイナリ入力ノードがあります。隠れ層には 1 つのシグモイド ノードが含まれ、出力層には 1 つの内積関数があります。したがって、ネットワークには 10 個の変数があります。」

ネットワークは、連続数 (y) を予測するために使用されます。私の問題は、シグモイドノードの後のネットワークの構造を理解していないことです。出力層は何をしますか? 内積は何に使うの？