1

複数の出力を持つフィードフォワードニューラルネットワークを設計する場合、複数の出力を持つ単一のネットワークと、それぞれが単一の出力を持つ複数のネットワークを持つことの間に(計算効率以外の)概念的な違いはありますか?

同じネットワーク内の出力ニューロンは「オンザフライ」で相互に影響を与えませんが、各出力からのエラーが逆伝播して隠れ層の重みに影響を与え、それが他の出力の値に影響を与えるため、トレーニングに影響を与えます。 。

どちらの方法でも解決できる問題はありますか?直感的には、単一のネットワークは、一度に1つの出力のみをアクティブにする必要がある問題(つまり、OCR)に適しています。複数のネットワークは、複数の出力を同時にアクティブにできる問題(つまり、各出力が何らかの特性に対応する場合)に適しています。入力では、それらのいくつかが同時に存在する可能性があります)。しかし、これは単なる直感です。それは実質的に成り立ちますか?

4

1 に答える 1

3

ご存知のように、概念的な違いは、共同トレーニングと個別トレーニングです。ほとんどの場合、問題が関連している場合(たとえば、すべての出力が文字の認識に関するものである場合)、共同トレーニングが役立つと人々は感じていると思います。したがって、両方の問題で、複数の出力を同時にアクティブにできるかどうかに関係なく、共同トレーニングが役立つと思います。

共同トレーニングが役に立たず、おそらく害を及ぼす場合は、タスクがまったく関連していない場合です。たとえば、1つの出力が「文字a」に関するもので、別の出力が「サウンドx」に関するものである場合です。

于 2010-02-01T20:10:18.210 に答える