問題タブ [mnist]

Stacked/Deep Autoencoders の背後にある概念を理解しているため、単層ノイズ除去 Autoencoder の次のコードを使用して実装したいと考えています。Theano は Stacked Autoencoder のチュートリアルも提供していますが、これは教師ありの方法でトレーニングされています。

次のコードでこれを機能させる方法はありますか?

それらのより良い理解/直感を得るために、PythonでいくつかのタイプのANNアルゴリズムをコーディングしようとしています。私の目標は実用的ではなく教育的なものであるため、Scikit-learn やその他のすぐに使用できるパッケージは使用していません。問題の例として、MNIST データベース ( http://yann.lecun.com/exdb/mnist/ ) を使用します。

単純な 1 隠れ層 NN と畳み込み NN を実行しましたが、2 次の最適化方法を回避することに成功したため、ヘッセ行列を計算しませんでした。ただし、その後、ハイパーパラメーターを最適化するために、ヘッシアンの計算が必須であるベイジアン NN に行き着きました。

私の完全に接続されたネットワークには、784 の入力、300 の隠れユニット、および 10 の出力ユニットがあります。これらはすべて、238200 の重み (+ バイアス) になります。Hessian (勾配の外積による) を計算または概算しようとすると、Python は "MemoryError" を通知します。重みの数を 40000 まで減らしてエラー メッセージが表示されなくても、数分後にコンピューターが動かなくなります。私が理解しているように、問題は望ましい行列が非常に巨大であることです。ベイジアン NN に関するいくつかの記事を調べたところ、作成者は通常、10 または 20 以下の入力と隠れユニットのネットワーク アーキテクチャを使用しているため、パラメーターが私よりもはるかに少ないことに気付きました。しかし、私はそのような制限の明確な声明を見たことがありません.

MNIST の NN にベイジアン アプローチを適用するにはどうすればよいですか?

より一般的に: この (238200 の重み) またはさらに大きなアーキテクチャでベイジアン アプローチを適用することは可能ですか? それとも、比較的小規模なネットワークに適しているのでしょうか?

TensorFlow MNIST の例が fully_connected_feed.py で実行されない

これを調べたところ、input_data組み込みではないことがわかりました。だから私はここからフォルダ全体をダウンロードしました。チュートリアルを開始するにはどうすればよいですか:

iPython (Jupyter) を使用していますが、作業ディレクトリをダウンロードしたこのフォルダに変更する必要がありますか? または、これを自分のtensorflowディレクトリに追加できますか? その場合、どこにファイルを追加しますか? （OSXに）インストールtensorflowしましたが、現在の場所はpip~/anaconda/lib/python2.7/site-packages/tensorflow/__init__.py

tensorflowこれらのファイルは、同様のデータセットを介して直接アクセスすることを意図していますsklearnか? それとも、ディレクトリに cd してそこから作業するだけですか? 例は明確ではありません。

編集：

この投稿は非常に古くなっています

MNISTの例を見て、画像の配列が 728 配列にフラット化されている場合、その配列がランダム化されているかどうかが問題になることに気付きました。つまり、NN はデータの隣接性を考慮に入れているのか、それとも 1 つの入力ノードが入力番号 (したがって 728 ノード) を入力しているのかということです。

私が求めているのは、728 データ配列をランダム化した場合と同じように、例のように画像を平坦化してトレーニングすると、同じネットワークが得られるかということです。

This is the code I used to classify the handwritten digits of MNist database using back-propagation algorithm on an one-layered perceptron with 10 neurons. The digits are saved in an expanded (1's in last column) integer 2d matrix images[60000][785] and the labels in int tlabels[60000][10]. Every label contains a 1 in the position corresponding to the digits value and 0's in the rest (digits are 0–9).

The error variable converges to 0.9 , meaning this code classifies all the digits into one of the classes, even though the samples are equally distributed among the classes. Is there a logical error in the code, or should I try different sets of parameters until the results become acceptable?

Linuxでチュートリアルを実行しようとしています。gcc、cython、numpy、をインストールしsixました。

データをインポートできますが、解凍に何らかの問題があるようです。

誰でも助けることができますか？

私は theano に比較的慣れていないため、GPU で mnist の例を実行したいのですが、次の出力が得られます。

mnist を出力せずに DEBUG メッセージを出力し続けます。私はnvccの作業バージョンを持っています:

そして私の.theanorcファイル：

どうすればこれを解決できますか?

手書きの数字の MNIST データベースを解析しようとしています。しかし、fread を使用したときに得られる値を見ると、正しくありません。エンディアンを変更しましたが、数値がまだ正しくありません。データベースへのリンクはこちら: http://yann.lecun.com/exdb/mnist/

これは、2049 または 0x00000801 である「マジック ナンバー」を出力するだけですが、代わりに 0x1F8B0808 である 529205256 を出力します。私はCが初めてで、常にJavaを事前に使用していました。前もって感謝します！

Caffe の MNIST データセットでCaffeNetをトレーニングしたいと考えています。100しかし、反復後に損失がわずかに減少したことに気付きました (から2.66364へ2.29882)。

ただし、MNISTで LeNet を使用すると、反復後に損失が から2.41197になります。0.22359100

これは、CaffeNet がより多くの層を持っているため、収束するためにより多くのトレーニング時間が必要になるためでしょうか? それとも別の原因ですか？ネットのsolver.prototxtが同じであることを確認しました。

100 回の反復が非常に短いことはわかっていますが (CaffeNet は通常、300 ～ 400k の反復でトレーニングするため)、LeNet が非常に小さい損失をすぐに得ることができるのは奇妙だと思います。