2

サイズ8000x(32x32x3画像)のトレーニングとサイズ2000x(同じサイズの画像)のテストで構成される分類用のデータセットがあります。
車両と背景を区別するという非常に単純な作業を行っています。cross_entropy をコスト関数として使用しています。

私が使用しているネットは、最初のフィルターのサイズが 1x ではなく 3x であることを除いて、 DeepMNISTで使用されているものとほぼ同じです。乗り物かそうでないか。この比較的単純なタスクの結果を見て、私は自分自身にいくつかの質問をするようになりました:

-まず、十分な大きさのバッチ サイズ (>200) を使用しないと、2 つのセットでほぼ毎回精度 62% (ローカル最適値) でスタックしますが、これは私のニーズには十分ではありません。

-第二に、適切なバッチ サイズと学習率で適切なオプティマイザー Adam を使用するたびに、92% まで上がりますが、出力は常に [0.999999999 0.000000000001] のように非常に気がかりなほど良好です。

タスクが難しいため、これは発生しないはずです。
したがって、ヒートマップを作成するために完全に畳み込みを行うと、飽和のためにほぼすべての場所で 1.000001 が得られました。
私は何を間違っていますか?ホワイトニングで問題は解決すると思いますか?バッチ正規化? 他の何か?私は何に直面していますか?

4

1 に答える 1

3

それは過剰適合の兆候です。十分な大きさのモデルを使用して小さなデータセットで十分な時間トレーニングを行うと、最終的に信頼度は 0 と 1 に飽和します。したがって、オーバーフィッティングを防ぐ同じ手法 (正則化ペナルティ、ドロップアウト、早期停止、データ拡張) がそこで役立ちます。

このような小さなデータセットの最初のステップは、データセットをノイズで破損した例で補強することです。IE、あなたの例では、800k のノイズで破損した例を元のラベルで追加し、それらをトレーニングします。

于 2016-02-05T17:02:28.117 に答える