問題タブ [softmax]

私は ML が初めてで、tensorflow を使用しています。
オートエンコーダーの機能を見たいのですが、隠しユニットを抽出する (見る) 方法がわかりません。
誰かが私を助けることができますか？

独自のデータセットを作成しましたが、元のコードは MNIST です: https://jmetzen.github.io/2015-11-27/vae.html

非表示ユニットのレイヤーを追加してスタック AE に変換しました.. (スタックになったかどうかはわかりませんが、機能しました)

私の AE: https://github.com/Snowedze/Autoencoder.git

ロジスティック多項回帰 (別名ソフトマックス回帰) を実装しようとしています。この例では、虹彩データセットを分類しようとしています

モデルの指定に問題があります。最適化エラーが発生しfind_MAP()ます。を使用find_MAP()しない場合、尤度に a を使用するとすべてゼロのベクトルの「サンプル」が得られ、 を使用するCategoricalと事前分布とまったく同じ事後分布が得られますMutinomial(n=1, p=p)。

Python と numpy を使用してニューラル ネットワークを実装しようとしています。問題は、ネットワークをトレーニングしようとすると、エラーが約 0.5 になることです。これ以上学習することはできません。学習率 0.001 と 1 を試してみました。逆伝播中に何か間違ったことをしていると思います。しかし、私は何が間違っているのか理解していません。

ps私は多くのオーバーフローの問題を抱えていたので、np.clip()メソッドを使い始めました。

これが私の逆伝播コードです：

これは長くて説明が難しいので、事前にお詫び申し上げます。

その上に標準のMLPレイヤーを備えた通常のCNNのようなネットワークがあります。MLP の上にもソフトマックス層がありますが、従来のネットワークとは異なり、これは下の MLP に完全に接続されておらず、サブグループで構成されています。

ソフトマックスをさらに説明すると、次のようになります。

もっとたくさんのグループがあります。各グループには、他のグループから独立したソフトマックスがあります。つまり、ある意味では、いくつかの独立した分類です (実際にはそうではありませんが)。

私が必要とするのは、活性化されたニューロンのインデックスがグループ間で単調に増加することです。たとえば、グループ A の Neuron5 をアクティブにした場合、グループ B のアクティブなニューロンを >=5 にする必要があります。グループB、グループCなども同様です。

すべてのグループのすべてのニューロンを含むこのソフトマックス層は、実際には最後の層ではなく、興味深いことに中間層です。

この単調性を達成するために、非単調活性化ニューロン インデックスにペナルティを課す別の項を損失関数に追加します。コードの一部を次に示します。

ソフトマックス層のコードとその出力:

Estimated_yps は、単調性を定量化する関数に渡されます。

損失関数は次のとおりです。

今私の問題は、従来のメトリックである SOME_OTHER_THINGS を使用しない場合ValueError: No gradients provided for any variable、単調性メトリックを取得することです。

ソフトマックス層の出力がこのように使用されている場合、勾配が定義されていないようです。

私は何か間違ったことをしていますか？どんな助けでも大歓迎です。

まず、私のコードは次のとおりです。

この質問を見ると、T がリストの転置であることがわかります。ただし、エラーが発生しているようです：

AttributeError: 'list' オブジェクトに属性 'T' がありません

ここで何が起こっているのかわかりません。この状況全体に対する私の理解は間違っていますか。私は Google Deep Learning コースを修了しようとしており、プログラムを実装することで Python ができると思っていましたが、間違っている可能性があります。私は現在、C や Java などの他の多くの言語を知っていますが、新しい構文は常に私を混乱させます。