1

GB-RBM を事前トレーニングするために、ほとんどの文献で推奨されているように、データをゼロ平均と単位分散に正規化しています。しかし、選択した学習率やエポック数に関係なく、平均再構成誤差が約 0.6 を下回ることはありません。積み重ねられた BB-RBM の再構成エラーは、数エポック内で簡単に 0.01 に低下します。http://www.cs.toronto.edu/~hinton/absps/guideTR.pdfに記載されているように、GBRBM を実装するいくつかのツールキットを使用しましたが、すべて同じ問題があります。何か不足していますか、それとも再構築エラーは 50% を超えているはずですか?

入力ベクトルの各次元に沿って、平均を減算し、標準偏差で割ることにより、データを正規化しています。

size(mfcc) --> [mlength 行 x 39 列]

mmean=mean(mfcc);
mstd=std(mfcc);
mfcc=mfcc-ones(mlength,1)*mmean;
mfcc=mfcc./(ones(mlength,1)*mstd);

これにより、各次元に沿ってゼロ平均と単位変数が得られます。さまざまなデータセット、さまざまな機能、さまざまなツールキットを試しましたが、GBRBM の reconstr エラーが 0.6 を下回ることはありません。ありがとう

4

1 に答える 1

0

exp() をシグモイドとして使用し、サードパーティのライブラリを使用して行列関数を実行していると思いますか?

上記が当てはまる場合、サードパーティのライブラリが exp() オーバーフロー エラーを飲み込んでいると推測しますが、それでも計算を停止しているため、非表示/再作成されたベクトルは無効です。

以下のコメントに基づいて編集します。

theano.tensor.nnet.sigmoid() は exp() を使用しているため、最初に hard_sigmoid() に切り替えてみます。曲線はそれほどきれいではありませんが、オーバーフロー/アンダーフローは発生しないため、それがエラーの原因であるかどうかを確認できます。

他のデータ前処理を試したのに、再構築エラーが多かったと思いますか?

于 2014-08-17T20:46:46.020 に答える