問題タブ [deep-learning]

人工ニューラルネットワークを使ったインターネットトラフィック予測（時系列予測）の仕事を始めていますが、経験が少ないです。

1. どの方法が最適か知っている人はいますか？(時系列予測に使用するニューラル ネットワークの種類)

2. 教師なしトレーニングを使用したディープ ラーニングは、時系列学習に適していますか?

Theano で畳み込みニューラル ネットワークを作成するためのチュートリアルに従っています。ただし、コードに問題がありました。

floatX を次のようにロードしました。

とチェック：

しかし、ドキュメントから判断するxmatrixと、 にあるはずのモジュールをまだロードできません。誰かがどこでそれを見つけることができるか知っていますか?theano.config.floatX

前もって感謝します！

私の Theano プログラムでは、テンソル行列を 2 つの部分に分割し、それぞれが誤差関数に異なる寄与をするようにしたいと考えています。自動微分がこれをサポートしているかどうか、誰にも教えてもらえますか?

たとえば、テンソル行列変数 M を M1=M[:300,] と M2=M[300:,] に分割したい場合、コスト関数は 0.5* M1 * w + 0.8*M2 として定義されます。 * w. T.grad(cost,w) でグラデーションを取得することはまだ可能ですか?

または、より具体的には、総コストへの貢献度が異なるさまざまな機能を持つオートエンコーダーを構築したいと考えています。

私の質問に答えてくれてありがとう。

探索と利用のバランスを調整するために、Hyperopt はどのような設定を提供しますか? コードに「bandit」や「bandit_algo」のようなものがありますが、説明はありません。

誰かがコードサンプルを提供できますか?

助けてくれてありがとう！

Pybrain を使用して DBN をトレーニングするのに苦労しています。最初に私はそれを簡単な方法でやろうとしました:

私はこの問題に直面しました: PyBrain で教師付きの深い信念のトレーニングを行うには? 、提案された解決策は別のエラーにつながりました:

ということで、ゼロからネットワークを定義してみました！

まだ私が実行したとき：

次のエラーが表示されます。

これは、関連する RBM の隠れ層と関係があります。

ここで何か不足していますか？

GB-RBM を事前トレーニングするために、ほとんどの文献で推奨されているように、データをゼロ平均と単位分散に正規化しています。しかし、選択した学習率やエポック数に関係なく、平均再構成誤差が約 0.6 を下回ることはありません。積み重ねられた BB-RBM の再構成エラーは、数エポック内で簡単に 0.01 に低下します。http://www.cs.toronto.edu/~hinton/absps/guideTR.pdfに記載されているように、GBRBM を実装するいくつかのツールキットを使用しましたが、すべて同じ問題があります。何か不足していますか、それとも再構築エラーは 50% を超えているはずですか?

入力ベクトルの各次元に沿って、平均を減算し、標準偏差で割ることにより、データを正規化しています。

size(mfcc) --> [mlength 行 x 39 列]

これにより、各次元に沿ってゼロ平均と単位変数が得られます。さまざまなデータセット、さまざまな機能、さまざまなツールキットを試しましたが、GBRBM の reconstr エラーが 0.6 を下回ることはありません。ありがとう

Theano深層学習チュートリアルの第 8 章から、分類用に Stacked Autoencoder を変更しようとしています。私が扱っている autoencoder のコードは、こちらで入手できます。

私のデータセットは、test_set_x、test_set_y、valid_set_x、valid_set_y の 4 つの配列で構成されています。名前は自明です。

これは、トレーニングされたオートエンコーダーが検証セットでチェックされる方法です。

このコードは私のデータセットに「0.87」を出力するので、うまくいきます。

より冗長に表現する

それでも正解率は 87% です。

しかし、実際のクラスの予測ベクトルを直接取得しようとすると、非常に間違った結果が得られます。結果ベクトルのすべての要素は 4 (私のクラスでは 1 つ) です。

私の試みは次のようになります：

これは "[4, 4, 4, ....., 4, 4]" を出力します。この結果を valid_set_y ベクトルと比較すると、約 12% の正確性が得られますが、87% 近くにもなりません。

私が間違っていることを理解していません。

theano オートエンコーダーおよび/または言及されたチュートリアルを扱ったことがある場合は、私を助けてください。

ありがとうございました。

1 つ (または複数) の畳み込み層 (CNN) と 1 つまたは複数の完全に接続された隠れ層を上部に持つディープ ネットを設計したいと考えています。
完全に接続されたレイヤーを持つディープ ネットワークの場合、theano には、教師なし事前トレーニング用のメソッドがあります。たとえば、ノイズ除去オート エンコーダーまたはRBMを使用します。

私の質問は次のとおりです。畳み込み層の教師なし事前トレーニング段階を (theano で) 実装するにはどうすればよいですか?

答えとして完全な実装は期待していませんが、優れたチュートリアルまたは信頼できるリファレンスへのリンクをいただければ幸いです。

よろしくお願いします。ディープ ラーニング ニューラル ネットワークを実装して、多数の変数 (一種の多変量非線形回帰) を予測しようとしています。最初のステップとして、R で Darch パッケージを見て、コード スニペットを調べています。

http://cran.r-project.org/web/packages/darch/darch.pdf

p 10 から次のコードを実行すると、「排他的 OR」でトレーニングしているように見えますが、結果のニューラル ネットワークは関数を学習できないようです。(1,0) パターンまたは (0,1) パターンのいずれかを true として学習しますが、両方を学習することはありません。私の理解では、これらの種類のネットワークは、初心者向けの「排他的または」を含め、ほぼすべての機能を学習できるはずであるということでした。これは、このネットワークが微調整で利用する元の逆伝播作業によって解決されませんでした。私は何かが欠けている可能性があると思うので、何かアドバイスや助けをいただければ幸いです。(エポックを 10,000 まで増やしましたが、役に立ちませんでした。)

次の簡単なコードを Theano で記述しましたが、関数 f のコンパイル中にエラーが発生します。

私の側で何が問題になっていますか？