1

畳み込みニューラル ネットワークでは、CNN のトレーニングに取り組んでいます。トレーニング プロセス中、特にトレーニングの開始時に非常に高いトレーニング エラーが発生します。その後、このエラーはゆっくりと減少し始めます。約 500 エポック後、トレーニング エラーはゼロに近づきます (例: 0.006604)。次に、最終的に得られたモデルを使用して、テスト データに対する精度を測定しました。約 89.50% でした。それは正常に思えますか？つまり、トレーニング プロセスの最初の段階でトレーニング エラー率が高くなります。もう 1 つ言及したいのは、隠しノードの数を減らすたびに、トレーニングの最後に結果が良くなっていることに気付きました。

私のCNN構造は次のとおりです。

 config.forward_pass_scheme = {'conv_v', 'pool', 'conv_v', 'pool', 'conv_v', 'pool', 'conv_v','full', 'full', 'full', 'out'};

ここに私のハイパーパラメータのいくつかがあります:

  config.learning_rate = 0.01;
  config.weight_range = 2;
  config.decay = 0.0005;
  config.normalize_init_weights = 1;
  config.dropout_full_layer = 1;
  config.optimization = 'adagrad';

この点に関するあなたの助けと提案は非常に高く評価されています, 事前に感謝します.

4

2 に答える 2