問題タブ [rbm]

tensorflow でディープ オートエンコーダーを実装しようとしています。RBM 事前トレーニングは問題なく機能しますが、微調整に関しては、「ValueError: GraphDef は 2GB を超えることはできません」というエラーが発生します。私の入力は [12396, 8192] の形の配列で、ここに私のレイヤーがあります: [8192 16384 8192 4096 2048 1024 512 256 512 1024 2048 4096 8192 16384 8192]。どこに問題があるかはわかっていますが、それを修正する方法がわかりません。複数のグラフを使用することを考えましたが、入力が大きすぎて 1 つのレイヤーを格納することさえできない場合はどうなりますか? その上、使用するグラフの数がわかりません。レイヤーごとにグラフを設定しますか? それは遅すぎて不必要です。ありがとうございました！

このテキストを読んで、1 つの隠しユニットのみをアクティブにし、Gibbs が隠しユニットから見えるものをサンプリングすることで、人々が「再構築」と呼ぶものを作成できることを学びました。

しかし今、私はいくつかの畳み込み制限ボルツマン マシンを Python で実装しようとしています。私の計画は、セクション 3.2 で提示されたバージョンに固執し (したがって、 Convolutional Deep Belief Network をまだ実装するつもりはないことに注意してください)、その部分が機能するようになったら、Probabilistic Max-Pooling のみを挿入することです。

機能していることを確認するために、記事で紹介したような「機能」を作成したいと考えました (図 3 など)。第 1 層で学習された機能は、他のタイプのネットワークで学習された機能によく似ています。しかし、彼らがそれらの機能をどのように作成しているかはわかりません。これらの学習された「機能」がフィルターの重みなのか、それとも特定のフィルターのすべての隠れたユニットをオンにして再構成を作成する必要があるのか​​ は明確ではありません。また、そのセクション 3.6 が私の単純なバージョン (Probabilistic Max-Pooling さえ持っていないバージョン) にどの程度関連しているかはわかりません。

(私は両方を試してみましたが、私の結果はまだ完全に異なって見えます。それが私のコードのバグなのか、それとも単に何か間違ったことをしているのかわかりません)

何か助けはありますか？(私はこのコードをインターネットでランダムに見つけましたが、私はまだ Matlab 構文に不慣れであり、再構成を作成するために何をするのかをまだ見つけることができませんでした。

現在、deepnet パッケージを使用して R で RBM に取り組もうとしています。3 つの入力ポイントを持つ独自のデータセットを使用して RBM をトレーニングしました。ネットワークをトレーニングした後、2 セットの重みと 2 セットのバイアスを取得しました。私のコードは次のように実行されます

得られた結果は 2 のセットでした。2 つの 2x3 ウェイト マトリックスを取得しました。もう 1 つのマトリックスはどういう意味ですか?

Deep Belief NetworkとRestricted Boltzmann Machineを学んでいます。

1. DBN (CD-1、貪欲、層ごと) のトレーニングでは、2 番目、3 番目、および n 番目の RBM への入力は、確率ではなく確率的バイナリ (0 または 1) である必要がありますか?

2. DBN での推論プロセスに関しては、隠れユニットも確率ではなく確率的バイナリですか? sigmd{Σ(W*V+b)} は、すぐ上の層への入力として使用できますか? または、h ユニットの確率的バイナリ結果を取得し、これらの h 値をすぐ上のレイヤーへの入力として使用するために乱数ジェネレーターがさらに必要ですか?

誰か説明してくれませんか？

このスキームのように、テンソルフローを使用して CLDNN の実装を作成しようとしています。次元削減レイヤーに問題があります。

私が理解している限りでは、これは複数の制限付きボルツマン マシン (RBM) を積み重ねて作成されており、オートエンコーダーのように機能します。レイヤーのデコーダー部分は、エンコーダーをトレーニングしてウェルの次元を削減するためだけに存在します。これは、エンコーダーの出力を次のレイヤーの入力に「接続」することを意味します。

(デコードされた出力からの入力を比較することによって) オートエンコーダーをトレーニングする損失関数と、グラフ全体をトレーニングする別の損失関数を定義できます。これら2つの損失関数を訓練する方法はありますか? または、ここで問題を誤解しているのかもしれませんが、オートエンコーダーのデコーダー部分が「ループの外」に置かれており、トレーニングされていないように感じます。

そのようなオートエンコーダーや畳み込みレイヤーなどの実装を見つけました...しかし、ネットワーク内にオートエンコーダーを「挿入」する方法がよくわかりません(スキームのように)

MapReduce は初めてです。ペアがわかりやすい語数問題でMapReduceを学びました。しかし今、制限付きボルツマン マシンをトレーニングするための Mnist データセット (正規化された画像) があります。そのデータセットの使い方がわかりません。データセットからペアを取得するにはどうすればよいですか?特にキーと値のタイプは何ですか?