0

研究用に自作の ZFNet ( prototxt ) を実装しました。定義を 20k 回繰り返した後、テストの精度は ~0.001 (つまり、1/1000)、テストの損失は ~6.9、トレーニングの損失は ~6.9 にとどまり、ネットは 1k クラスの間で推測ゲームを続けているようです。定義全体を徹底的にチェックし、いくつかのハイパーパラメーターを変更して新しいトレーニングを開始しようとしましたが、役に立たず、同じ結果が画面に表示されました....

誰か光を見せてくれませんか？前もって感謝します！

prototxt のハイパーパラメーターは、論文 [1] から派生したものです。論文の図3が示唆するように、レイヤーのすべての入力と出力は正しいようです。

微調整は次のとおりです。

  • cropトレーニングとテストの両方の入力の -s は、#33 で説明した225代わりに に設定されます。224

  • conv3、conv4、およびブロブのサイズを一定にするための1 ピクセルのゼロ パディングconv5[1]。

  • すべての学習可能なレイヤーのフィラー タイプconstantが [1] からgaussianwithに変更されましたstd: 0.01。

  • weight_decay: PR #33 で @sergeyk によって提案されたようにから0.0005に変更します。0.00025

[1] Zeiler, M. と Fergus, R. 畳み込みネットワークの視覚化と理解、ECCV 2014。

そして悪い部分のために...、私はそれをここに貼り付けました

4

1 に答える 1

1

いくつかの提案:

  1. gauss初期化を からに変更しますxavier。
  2. "PReLU"の代わりにアクティベーションを使用します"ReLU"。ネットが収束したら、微調整してそれらを削除できます。
  3. base_lr1 桁 (または 2 桁)減らしてみてください。
于 2016-09-25T11:39:37.543 に答える