RAM に収まらない大きなデータ セットでトレーニングするモデルがあります。したがって、基本的に私の計画は、データセットをスライスしてDataSet、すべてのチャンクの入力ベクトルと関連するラベルを持つインスタンスを作成することです。たとえば、1M の入力ベクトル/ラベルがある場合、それらをそれぞれ 100K レコードを持つ 10 個のチャンクに分割します。
次に、チャンクを 2 つINDArrayのオブジェクト (入力とラベル用) に入れ、そのデータ セットを作成しDataSetて呼び出しmodel.fit()、チャンクごとにこの手順を繰り返し、モデルのスコアがある値に達するまでプロセス全体を繰り返します。私の質問は次のとおり
です。 1. プロセスを正しく理解していますか?
2.INDArrayインスタンスは再利用できますか? それらを一度割り当ててから、データセットのチャンクで何度も何度も埋めるのは正しいでしょうか?