問題タブ [batch-normalization]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - バッチ正規化、バッチ特徴抽出、バッチトレーニングの方法
データセットが大きすぎるため、一度にすべてをロードできません。特徴を正規化し、抽出し、バッチでトレーニングする必要があります。データセットとしてアイリスを選択し、Python でscikit-learn を選択して、アイデアを検証しました。最初のステップでは、を使用してバッチを正規化standarScaler.particial_fit()しました。
2番目のステップでは、次を使用して特徴を抽出しましたIncrementalPCA.particial_fit()
3 番目のステップでは、次を使用してデータをトレーニングしました。MLPClassifier.particial_fit()
以下は、上記で定義された 3 つの関数を呼び出すメイン関数です。
ただし、この方法では、正規化と特徴抽出を含むすべてのステップで、データのすべてのバッチを 2 回実行する必要があります。プロセスを簡素化する他の方法はありますか? (たとえば、バッチはステップ 1 から 3 に直接進むことができます)