与えられた構成、私は最初のエポックの途中でmomentumPerMB=0.9の値を観察します。momentumAsTimeConstant残りのエポックには、予想どおりこの値があります。これは、並列トレーニングでのみ発生するようです (1bit と BM、MA についてはまだ検証されていません)。
01/11/2017 00:08:08: Starting Epoch 1: learning rate per sample = 0.000500 effective momentum = 0.900000 momentum as time constant = 155504.2 samples
01/11/2017 00:18:04: Starting Epoch 2: learning rate per sample = 0.000500 effective momentum = 0.900000 momentum as time constant = 19438.0 samples
なぜこれが起こるのですか？