問題タブ [lstm]

以下の LSTM Python コードでプロットしようとしていますが、何も起こりません。修正するにはどうすればよいですか? (これはコードの最後の部分にすぎません。lstm コードは deeplearning.com で入手できます)

このリンクhttp://deeplearning.net/tutorial/lstm.htmlのコードを試していますが、imdb データを自分のものに変更しています。これは私の結果のスクリーンショットです。

感情分析のために LSTM を実行したときの全体的な精度を判断したいのですが、出力を理解できません。train、valid、および test の値は複数回出力されますが、通常は同じ値です。

どんな助けでも大歓迎です。

Karpathy のchar-rnn (Wojciechz learning_to_execute に基づく) は、一般的な RNN ハックを使用します。

• シーケンスごとの時間ステップと同じ回数、プロトタイプ ネットワークのクローンを作成します。
• クローン間でパラメーターを共有する

クローンを 217 回実行すると 5 GB の GPU メモリが使い果たされることがわかります (しきい値が低い可能性があります)。結果は次のようになります。

lua opt/torch/install/share/lua/5.1/torch/File.lua:270: cuda runtime error (2) : out of memory at /mounts/Users/student/davidk/opt/torch/extra/cutorch/lib/THC/THCStorage.cu:44

問題はclone_many_times()機能です（上記のリンク）。クローンは、プロトタイプの同じ物理パラメータ ストレージを指しているように見えますが、何らかの理由でまだ爆発しています。

誰かがこれに遭遇したり、非常に長いシーケンスをトレーニングする方法を知っていますか?

(ここで同じ質問をします: https://github.com/karpathy/char-rnn/issues/108 )

Web で見つけられるほぼすべてのリソースを調べて、誰かが Caffe で RNN/LSTM を使用した回帰の例を投稿したかどうかを確認しました (ここ、ここ、およびここ)。残念ながら、そのようなリソースは今のところ存在しないようです。PythonでJeff Donahueバージョンを使用しています。

私が探しているのは、非常に単純なものです。たとえば、(x,y)ペアの100 個のデータ ポイントがあるとします。あなたならどうしますか：

1. 入力行列の作成。
2. 継続行列の作成 (必要かどうか)
3. ターゲット マトリックスの作成。
4. prototxt ファイルはどのようになりますか?
5. このモデルを使用して外挿 (予測) できますか?

また、データが多次元の場合、最初の 3 つの項目がどのようになるか。たとえば、Xはd次元のベクトルで、Yはk次元のベクトルです。

Python でデータをフォーマットする手順をカバーしている限り、独自の例を自由に使用してください。

ここで、これに関するカフェユーザーの質問も開いたことに注意したいだけです。

ここで説明されている LSTM 言語モデルのチュートリアルに取り組んでいます。

言語モデルでは、モデルを使用して、トレーニング後にゼロから新しい文を生成するのが一般的です (つまり、モデルからのサンプル)。

TensorFlow は初めてですが、トレーニング済みのモデルを使用して、文末マーカーまで新しい単語を生成しようとしています。

私の最初の試み：

エラーで失敗します：

ValueError: 配列要素をシーケンスで設定しています。

私は、既にトレーニングされた TensorFlow の基本的な LSTM と、ブラウザーで実行できる JavaScript バージョンとの間のインターフェースの実装に取り​​組んでいます。問題は、私が読んだすべての文献で、LSTM がミニネットワーク (接続、ノード、およびゲートのみを使用) としてモデル化されており、TensorFlow にはさらに多くのことが行われているように見えることです。

私が持っている2つの質問は次のとおりです。

1. TensorFlow モデルは、より従来型のニューラル ネットワーク構造に簡単に変換できますか?

2. TensorFlow が提供するトレーニング可能な変数をこの構造にマッピングする実用的な方法はありますか?

TensorFlow から「トレーニング可能な変数」を取得できます。問題は、LSTM ノードごとにバイアスの値が 1 つしかないように見えることです。ここで、私が見たほとんどのモデルには、メモリ セル、入力、および出力。

ニューラルトーク2を実行しようとすると、次の出力が得られます

parag@parag:~/MyHome/neuraltalk2/neuraltalk2-master$

ここで何がうまくいかないのですか？

tensorflow を使用して word2vec をトレーニングすることができました。これらの結果を、シーケンスのラベル付けのために lstm セルを含む rnn にフィードしたいと考えています。

1) トレーニング済みの word2vec モデルを rnn に使用する方法が明確ではありません。(結果をフィードする方法は?)

2) シーケンス ラベル付け lstm の実装方法に関するドキュメントがあまり見つかりません。(ラベルを持ち込むにはどうすればよいですか?)

このタスクを開始する方法について、誰かが私を正しい方向に向けることができますか?