Keras Tuner を使用してステートフル LSTM を調整しようとしています。コードは機能しており、モデルをトレーニングすることはできますが、モデルをエポック間で状態をリセットする方法をまだ理解できません。通常、ループ内で一度に 1 エポックのトレーニングを行い、エポック間で手動で reset_states を実行します。ただし、Keras Tuner でこれが可能であるとは思えません。これを達成するために使用できる引数はありますか? これは、以下の私の現在のチューナーコードです:
def build_model(hp):
model = Sequential()
model.add(layers.Input(batch_shape=(batch_size,train_X.shape[1], train_X.shape[2])))
for i in range(hp.Int('num_LSTM_layers', 1, 3)):
model.add(layers.LSTM(units=hp.Int('units_' + str(i),min_value=32,max_value=512,step=4),
batch_input_shape=(batch_size,train_X.shape[1], train_X.shape[2]),
activation=hp.Choice('LSTM_activation_' + str(i),values=['relu','softplus',
'tanh', 'sigmoid','softsign','selu','elu','linear'],
default='elu'),return_sequences=True,stateful=True))
for j in range(hp.Int('num_dense_layers', 1, 3)):
model.add(layers.Dense(units=hp.Int('units_' + str(i),min_value=64,max_value=1024,step=4),
activation=hp.Choice('dense_activation_' + str(i),values=['relu','softplus',
'tanh', 'sigmoid','softsign','selu','elu','linear'],
default='elu')))
model.add(layers.Dropout(rate=hp.Float('rate_' + str(i), min_value=0.01, max_value=0.50, step=0.01)))
model.add(layers.Dense(train_y.shape[1],activation='linear'))
model.compile(
optimizer=hp.Choice('optimizers',values=['rmsprop','adam','adadelta','Nadam']),
loss='mse',metrics=['mse'])
return model
tuner_bo = BayesianOptimization(
build_model,
objective='val_loss',
max_trials=50,
executions_per_trial=3,overwrite=True,num_initial_points=10,
directory=model_path,project_name='LSTM_KT_2001',
allow_new_entries=True,tune_new_entries=True)
tuner_bo.search_space_summary()
tuner_bo.search(train_X, train_y, epochs=100,batch_size=1,validation_data=(test_X,test_y), verbose=2)