この単純なタスクに還元できる興味深い問題があります。約 1% のスパース性を持つスパース バイナリ マトリックスをコピーすることを学習するニューラル ネットワーク (LSTM など) を考えてみましょう。
すべてのエントリに対して 0 を推測するだけのコスト関数を見ると、約 100% のスパース性になるため、すべて 0 を推測するだけで非常に高い精度を得ることができます。
疎行列表現またはコスト関数のいずれかを変更することによって、ニューラル ネットワークをこの巨大な局所的最小値から追い出す方法はありますか?
ありがとう！