問題タブ [softmax]

TensorFlow は素晴らしく、画像の分類や推奨システムに使用しています。softmaxとcross entropyを損失関数として使用しました。1 種類のラベルしかない場合に機能します。たとえば、MNIST データセットでは 0 から 9 までの 1 桁のみを選択します。

これで、性別と年齢の特徴が得られました。[1, 0, 1, 0, 0, 0, 0] のように、例ごとにワンホット エンコーディングがあります。最初の 2 つのラベルは性別を表し、最後の 5 つのラベルは年齢を表します。各例には 2 つの 1 があり、その他は 0 である必要があります。

コードは次のようになります。

しかし、すべてのラベルを「ソフトマックス」して合計すると 2 になることがわかりました。しかし、最初の 2 つの合計は 1 になり、最後の 5 つの合計は 1 になります。 2+5) 機能は同じようです。

他の主流の深層学習フレームワークとのベンチマークを作成するために、ソフトマックス回帰モデルをテンソルフローに実装しようとしています。tensorflow のfeed_dict の問題により、公式ドキュメントのコードは遅くなります。データをテンソルフロー定数として提供しようとしていますが、それを行う最も効率的な方法がわかりません。今のところ、単一のバッチを定数として使用し、そのバッチでトレーニングします。そのコードのミニバッチ ソリューションを作成する効率的なソリューションは何ですか? これが私のコードです：

ソフトマックス回帰を使用してニューラル ネットワークを作成しようとしています。次の回帰式を使用しています。

1000x100 の入力があるとしましょう。つまり、それぞれのサイズが 10x10 の 1000 個の画像があるとします。ここで、画像が A、B、C、D、E、F、G、H、I、J の文字の画像であるとしましょう。これを予測しようとしています。私の設計は次のとおりです: 100 個の入力 (各画像) と 10 個の出力を持ちます。

以下の疑問があります。n が x^n の上付き文字であることを考えると、分子に関して、w (w = 10x100 の次元の重み - 10 は出力の数を表し、100 は入力の数を表す) と単一のドット積を実行する必要があります。 x（単一の画像）またはすべての画像を組み合わせた（1000x100）？私はPythonでコーディングしているので、wとx ^ T（10x100ドット100x1000）の内積を行うと、それを指数にする方法がわかりません。私はnumpyを使用しています。これらの行列を指数としてどのように上げることができるかについて、私は頭を悩ませています。

私はプログラミング、特にテンソルフローを使ったプログラミングが初めてです。使ってわかるおもちゃ問題を作っています。その場合、分母がすべてのクラスの合計ではなく、サンプリングされたいくつかのクラスの合計であるソフトマックスのような関数を構築したいと考えています。

Python で numpy を使用すると、次のようになります。

これをテンソルフローでどのように実装できますか? より一般的には、そのような新しい「カスタム」関数を作成する方法はありますか?

私の RNN の再帰式は ですh(t) = tanh(W.x(t) + U.h(t-1) + V.O(t-1) + b)。ここO(t-1)で、 は時間 における RNN の分類出力 (Softmax 出力) ですt-1。次の時間ステップでこの出力にアクセスするにはどうすればよいですか?

カスタム RNN を作成する必要があると思いますが、Keras の recurrent.py のすべての再帰関数に少し混乱しており、どの部分を変更する必要があるかわかりません。

Tensorflowのsampled_softmax_loss に関する簡単な例を教えてもらえますか?

num_sampled の数値が異なる sampled_softmax_loss を使用して、チュートリアルの softmax とcross_entropyを変更しようとしましたが、結果は本当に悪いです。