ここで公開されている tensorflow rnn 翻訳モデルを使用しています:
翻訳モデル
私は自分の考えに従って、このコードの一部を変更したいと考えています。
最初にやりたいことはtarget_weights、各レイヤーの を確認することです。
私が知っていることは、最初はtarget_weightsパディング用のゼロと文の各単語用の 1 の配列が含まれているということです。
初期化後、session.run メソッドに渡され、確実に変更されます。
ここで、学習プロセス中にこの配列が直面する変化をどのように確認する必要があるかを誰かが知っているかどうかを知りたいです。
または、各レイヤーの重みを確認し、各レイヤーに対応する値を確認するにはどうすればよいですか。
前もって感謝します
あなたが探しているのはおそらくTensorBoard です。これにより、ネットワークの任意の値/統計を視覚化できます。
あなたがしなければならないことはsummarizers、例えば
tf.scalar_summary("norm of weights going", norm_of_weights)
その後、要約ライターを作成します
merged = tf.merge_all_summaries()
writer = tf.train.SummaryWriter("logs_directory/", sess.graph_def)
これにより、テンソルボードを介して分析できるログが作成されます。要約を定義する方法、ログに記録するものなどはあなた次第であり、問題のみに依存します。各重量を個別に追跡しますか? その場合は、これらのそれぞれにスカラー サマリーを追加します。簡単な進化が必要ですか？これらの規範に焦点を当てます。ヒストグラム (たとえば、アクティベーションの分布) などを監視することもできますtf.histogram_summary。