問題タブ [rbm]

GB-RBM を事前トレーニングするために、ほとんどの文献で推奨されているように、データをゼロ平均と単位分散に正規化しています。しかし、選択した学習率やエポック数に関係なく、平均再構成誤差が約 0.6 を下回ることはありません。積み重ねられた BB-RBM の再構成エラーは、数エポック内で簡単に 0.01 に低下します。http://www.cs.toronto.edu/~hinton/absps/guideTR.pdfに記載されているように、GBRBM を実装するいくつかのツールキットを使用しましたが、すべて同じ問題があります。何か不足していますか、それとも再構築エラーは 50% を超えているはずですか?

入力ベクトルの各次元に沿って、平均を減算し、標準偏差で割ることにより、データを正規化しています。

size(mfcc) --> [mlength 行 x 39 列]

これにより、各次元に沿ってゼロ平均と単位変数が得られます。さまざまなデータセット、さまざまな機能、さまざまなツールキットを試しましたが、GBRBM の reconstr エラーが 0.6 を下回ることはありません。ありがとう

RBM では、ノード内のすべての関係を確率で作成します。では、RBM を介してどのようにデータを伝播できるのでしょうか? 一次サンプリングだけですか？ゆらぎすぎじゃない？

それともフィードフォワードmlpのように機能しますか? (つまり、hj = \sum_i vi * wij) ですが、RBM にはこの概念はありません。なぜなら、この論文は確率モデルであると述べているからです。

-h_j * x_k と -h_j(x) * x_k を使用した RBM での導関数の計算の違いを説明してくれる人はいますか? 両方の実装を含むソース コードを見つけましたが、どちらが優れているかわかりません (そしてその理由は?)

RBM の pyLearn2 (機械学習ライブラリ) の例に関するこのドキュメントにたどり着きました。なぜ簡単なのか誰か教えてもらえますか？

私は RBM についてよく知らないので、ご容赦ください。完全なコードについては、このリンクを参照してください

scikit で RBM を使用したいと思います。他の多くの分類器と同様に、RBM を定義してトレーニングできます。

しかし、私を予測させる関数が見つからないようです。scikit で次のいずれかに相当するものを探しています。

どちらの関数も BernoulliRBM には存在しません。

deepenetパッケージのdbn.dnn.train関数を使用して MNIST データセットをトレーニングしようとしています。タスクは分類です。次のコマンドを使用しています

私が直面している問題は次のとおりです。

1) ラベルは因子型ベクトルである必要があります。しかし、ラベルを因子として入力すると、関数は「yは行列またはベクトルでなければならない」というエラーを出します。そのため、ラベルを数値として使用しています。分類タスクの進め方

2) dbn.dnn.train の予測を行う機能とは何か。私は nn.predict を使用していますが、ドキュメントには、入力は関数 nn.train によってトレーニングされたニューラル ネットワークである必要があると記載されています (dbn.dnn.train は記載されていません)。出力はすべてのレコードで 0.9986 です

私は MATLAB でプログラミングしており、グレースケール画像のような実数値の入力で RBM を使用したいので、ヒントンがこの記事で述べたことに従うようにしました。

画像は [0, 255] の整数値を持ち、[numImages x numPixel] の行列 D に格納されます。そこで、データの前処理を開始しました。

• すべての値が[0、1]になるようにデータセット全体をスケーリングしました

  /li>

• すべての画像ですべてのピクセルの平均がゼロになるようにしたので、マトリックスのすべての列からその平均値を減算しました

  /li>

• データセット全体をその標準偏差で割って、すべてのピクセルが単位分散を持つようにします。

  /li>

しかし、画像をプロットしようとすると、多くの値が負になり、ゼロにクリップされるため、結果は明らかに非常に暗くなります。

これでよろしいですか、それとも前処理を間違えましたか?