私は現在、マイニングデータのバックプロパゲーションアルゴリズムを使用しています。関連する論文からいくつかのアルゴリズムを私のケースに適用しようとしています。ここで、そのうちの1人が「バックプロパゲーションアルゴリズムを適用して重み（w、v）を更新し、次の関数を最小化する」と述べていることがわかりました。
θ(w,v) = F(w,v) + P(w,v)
ここで、F(w,v) は交差エントロピー関数、P(w,v) はペナルティ項です。プログラミング用語の「最小化」にはいくつかの意味があることがわかったので、これの意味はわかりません。
関数で何をすべきか、逆伝播に適用する方法を教えてください。
ありがとうございました。
Backprop は、損失関数 wrt の導関数/勾配を計算するためのアルゴリズムです。ニューラル ネットワークの重み。最適化アルゴリズム (通常は勾配降下法または共役勾配ですが、他のアルゴリズムも使用されます) と組み合わせると、トレーニング セットの損失関数を最小化する NN の重みを見つけるために使用できます。
つまり、正規化されたクロスエントロピー損失を最小限に抑えることでニューラル ネットワークをトレーニングすることをお勧めします。これは、分類のためにニューラル ネットワークを「トレーニング」することによって通常意味されることであり、多くの NN ライブラリ/ツールキットが実際に行うことです。
(もちろん、Pが非標準のペナルティ項である場合は、backprop を自分で実装するか、拡張可能なツールキットを見つける必要があるかもしれません。微分不可能なペナルティ項についても、最適化アルゴリズムの変更が必要になる場合があります。)