問題タブ [sigmoid]

次のコードは Octave プログラミング言語で書かれています

シグモイド関数を計算し、スカラー、ベクトル、または行列を取ることができます。たとえば、上記を z=0 の関数 sigmoid(z) に入れると、結果は次のようになります。

結果はスカラー ( 0.5) になり、ベクトルが z= [ 0.2, 0.4, 0.1] と言う場合、結果のベクトルは次のように出力されます。

結果はベクトルです:

z が次のような行列の場合

結果は=

同様のメソッドを Python で実装するにはどうすればよいでしょうか。以下のコードを試してみましたが、

ただし、スカラーに対してのみ機能します。ベクトルと行列ではありません。私は何を間違っていますか。申し訳ありませんが、以前の私の質問はあまり明確ではありませんでした。再編集しております。

sigmoid などよりも優れているという投稿やページをよく目にするので、XOR 問題で ReLU 活性化関数を使用してパフォーマンスを確認してみました。私はこのコードを使用しました：

これにより、 RELU を TransferFunctionType に追加します。

私は neuroph 2.92 を使用していますが、実行すると Total Network Error = 0.25 で動かなくなりました。私も TANH を使用しましたが、1.25 でスタックしていましたが、SIGMOID は簡単に合計エラー < 0.01 になりました。または私はどこかで間違いを犯しました。ありがとう

チュートリアルからANNを作っています。チュートリアルでは、sigmoid と dsigmoid は次のとおりです。

ただし、定義により、dsignmoid はシグモイド関数の導関数であるため、( http://www.derivative-calculator.net/#expr=tanh%28x%29 ):

1-x*x を使用すると、トレーニングは収束しますが、数学的に正しい導関数を使用すると、つまり. sech 二乗すると、トレーニング プロセスは収束しません。

問題は、なぜ 1-x*x が機能し (重みを修正するようにトレーニングされたモデル)、数学的導関数 sech ² (x) が機能しない (反復の最大回数後に取得されたモデルが間違った重みを保持する) ことです。