問題タブ [rbm]

私は RBM を実装しようとしています。次に、プレイ テニス ケースを使用して rbm をテストしました。

以前にオートエンコーダーを試したことがありますが、結果は良好でした。実際、RBM 自体の機能と混同しています。オートエンコーダーと同じように、特徴抽出のために入力 (各インスタンス) をエンコードし、モデル (ネットワーク) をテストまたは検証して、いくつかのインスタンスのエンコードとデコードを試みることができると思います。

しかし、私が直面した問題は、RBM の一部の関数の結果が奇妙に思われることでした。

たとえば、ギブス サンプリングの結果、サンプリング データの結果は実際のデータに非常に近いです。効果は、サンプリング データからの h(x) の結果であり、実際のデータは十分に近いものです。

そのため、非表示層のすべてのユニットを実際の値にデコードした結果を比較しようとすると、結果は悪く、各機能 (ユニット) の結果はほぼ同じで、約 0.4 から 0.5 です。

そして、失われた関数の f(x) = 1/m*sigma(log(p(x))) 自体は約 0.07142857142857142 であり、決して変化しません (約 0.00000000000000001 または 0.0000000000000002 の変化)。

入力範囲の値が 0 から 1 になるように、標準の正規化を使用して、各機能に継続値を使用しました。

誰にも提案がありますか？

*下手な英語でごめんなさい:D

このプロセスは正しいですか？

MNIST のような大量のデータがあるとします。

これらすべてのデータ (ラベルなし) を RBM にフィードし、トレーニング済みモデルから各データを再サンプリングするだけです。

その後、出力を分類用の新しいデータとして扱うことができます。

私はそれを正しく理解していますか？RBM を使用する目的は何ですか?

Rでバイナリの非表示/表示ユニットを使用したRBMの実用的な実装を作成しました。しばらく探していましたが、バイナリユニットをガウスまたはReLUに変更する方法がわかりません。

入力データを実数値にしたい場合、表示単位と非表示単位を変更しますか? それとも目に見えるユニットだけ？

両方を変更したいとしましょう。現在、ロジスティック シグモイド関数 (1/(1+e^(-x))) を使用して、非表示/表示の確率を計算しています。ReLU は max(0, x + N(0,1)) を使用します。私が現在理解しているように、ロジスティック シグモイド関数のすべての出現を ReLU max 関数に切り替えます。ただし、これでは少し意味のある結果は得られません。そのため、実際に何を変更する必要があるのか​​ わかりません。

RBM で整流器や連続入力などを扱う場合は、バイナリ以外のさまざまな種類の隠れユニットを使用する必要があることを理解しています。教師あり深層学習の開始点として RBM が使用されているとします。tanh 活性化はどうでしょうか。バイナリ シグモイド RBM をフィッティングし、訓練された重みを tanh-activation-function ニューラル ネットワークの開始点として使用できますか? 基本的に、tanh はバイナリ RBM にある再スケーリングされた sigm ですが、実行可能だと思いますか? もしそうなら、どのように正確ですか？

ありがとう

RBM の実装があります。元の RBM 実装は画像などの離散データ用で、私のデータはバイナリ データですが、コードは実際のデータでも機能しますか? そのために機能する典型的なRBMのガウスバージョンがあることをどこかで読みましたが、そのモジュールにも実装されていますか?