問題タブ [image-preprocessing]

この tflearn DCNN サンプル (画像の前処理と拡張を使用) を keras に変換しようとしています:

Tflearn サンプル:

これにより、50 エポック後に次の結果が得られました。

次に、同じ DCNN レイヤー、パラメーター、および画像の前処理/増強を使用して、Keras に変換しようとしました。

これにより、検証精度が大幅に低下しました。

誰かが理由を理解するのを手伝ってくれますか? Keras での画像の前処理/増強を誤って適用/誤解しましたか?

機械学習のデータ前処理について一般的な質問があります。データを 0 付近に集中させ (平均減算)、データを正規化 (分散を除去) することは、ほぼ必須であることを私は知っています。他にも可能なテクニックがあります。これは、トレーニング データと検証データ セットに使用する必要があります。

次の問題が発生しました。画像内の特定の形状を分類するように訓練された私のニューラル ネットワークは、分類する必要がある画像にこの前処理手法を適用しないと、分類に失敗します。この「分類する」画像は、もちろんトレーニング セットや検証セットには含まれていません。したがって、私の質問：

分類する必要があるデータに正規化を適用するのは正常ですか、それともこの手法を使用しないネットワークのパフォーマンスが悪いということは、モデルが一般化に失敗し、過剰に適合しているという意味で悪いことを意味しますか?

「分類する」画像で正規化を使用した PS では、私のモデルは 30% を下回ることなく、非常にうまく機能します (約 90% の精度)。

追加情報: モデル: keras と tensorflow を使用した畳み込みニューラル ネットワーク。

明らかに、この画像は明瞭度が低く、実際の言葉ではないため、かなり厳しいものです。ただし、このコードでは、近いものは何も検出されません。

出力

ここに何かアイデアはありますか？私の対照関数が生成する画像は次のとおりです。

まともに見えるのはどっち？私はOCRの経験があまりありません。ここでどのような前処理をお勧めしますか? 画像のサイズを大きくしてみました。これは、PIL のさまざまなフィルターと一緒に、少しは役に立ちますが、十分ではありません。特に近いものはありませんが

株式賞品予測のためにこの CNN モデルを実装しようとしています: https://github.com/ZezhouLi/Convolutional-Networks-for-Stock-Predicting
しかし、実装のためにデータを前処理しているときに問題に直面しています。前処理ステップが大量の RAM を消費しています。(私のシステムには 32 GB の RAM と 256 GB の SSD ハードディスクがあります)
RAM を消費し、最終的に次のようなファイルが表示されますMemory Error:

これはMemory Error、プログラムがシステムの RAM メモリをすべて消費したときに発生します。プログラムを改善してください。