問題タブ [handwriting-recognition]

このアーキテクチャの手書き認識モデルをオーバーフィットさせようとしています:

tensorflow からのこの mdrnn コード (いくつかの変更を加えたもの):

トレーニング ctc_loss は減少しますが、1000 エポック後でも収束しません。ラベルのエラー率は変動するだけです。

次のように画像を前処理します。

また、ネットワークがいくつかのポイントで同じ予測を生成することにも気付きました。

これが起こっている理由は何ですか？これは、私が作成した小さな再現可能な例ですhttps://github.com/selcouthlyBlue/CNN-LSTM-CTC-HIGH-LOSS

アップデート

これから変換を変更すると：

これに：

パフォーマンスは何とか改善されました：

(ここで mdrnn レイヤーを削除)

(2nd RUN)

(mdrnn レイヤーを追加し直しました)

しかし、損失はまだゼロにはなっておらず (またはゼロに近づいていません)、ラベル エラー率は依然として変動しています。

の減衰率でオプティマイザを からAdamに変更した後、損失は収束しました!RMSProp0.9

ただし、ラベル エラー率は依然として変動します。しかし、損失が収束した今、それは下がるはずです。

その他のアップデート

私が持っている実際のデータセットで試してみたところ、改善されました!

前

後

しかし、何らかの理由でラベルのエラー率が増加していることはまだ不明です。