問題タブ [loss-function]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
tensorflow - テンソルフローを使用して、各レイヤーのローカル損失を伴うディープ ニューラル ネットワークを構築する方法は?
私はテンソルフロー（TF）の初心者です。最近、各レイヤーが独自の(ローカル) 損失関数を持つディープ モデルを構築するために TF を使用しようとすると、混乱します。
TF によって実装された多くのディープ モデル (CNN など) には(グローバル) 損失関数が 1 つしかないように思われるため、最初に入力層から出力層への隠れ表現を計算できます。次に、損失を取得します。最後に、既存の最適化アルゴリズムと損失を使用してモデルをトレーニングします。
それらのモデルとは異なり、私は TF を使用して、独自のローカル損失に基づいて各レイヤーをトレーニングしたいと考えています。これは、現在のレイヤーをトレーニングするときに、前のレイヤーのパラメーターを修正する必要があることを意味します。
私の質問は、上記のアイデアを実現するために、1 つまたは必要に応じて複数のグラフを作成する方法です。
コメントや提案をいただければ幸いです。ありがとう。
deep-learning - InfoGainLossLayer、Caffe の動的 infoGainMatrix (H)
Faster-RCNN の RPN のマルチタスク損失関数 (L) で、分類損失 (l_cls) におけるポジティブ サンプルとネガティブ サンプルの寄与を差別的にスケーリングしようとしています。
私の知る限り、Caffe でこれを行う簡単な方法は、'InfoGainLossLayer' を使用し、さまざまなスケールを含む infoGainMatrix(H) を渡すことです。残念ながら、私の知る限り、infoGainMatrix(H) はその場で計算して InfoGainLossLayer に渡すことはできません。(参照)。H を動的に計算したいと思います。
誰かがこれを回避する方法を説明できれば素晴らしいでしょう。