Rでバイナリの非表示/表示ユニットを使用したRBMの実用的な実装を作成しました。しばらく探していましたが、バイナリユニットをガウスまたはReLUに変更する方法がわかりません。
入力データを実数値にしたい場合、表示単位と非表示単位を変更しますか? それとも目に見えるユニットだけ？
両方を変更したいとしましょう。現在、ロジスティック シグモイド関数 (1/(1+e^(-x))) を使用して、非表示/表示の確率を計算しています。ReLU は max(0, x + N(0,1)) を使用します。私が現在理解しているように、ロジスティック シグモイド関数のすべての出現を ReLU max 関数に切り替えます。ただし、これでは少し意味のある結果は得られません。そのため、実際に何を変更する必要があるのか わかりません。