ニューラルネットワークのハイパーパラメータを調整するために、ハイパーオプトを使用して空間を検索しています。私が探しているスペースは次のとおりです。
space = {
'latent_dim1': hp.qloguniform('latent_dim1', np.log(30), np.log(70), 1),
'batch_size': hp.choice('batch_size', [32, 64, 128]),
'epochs': hp.choice('epochs', [150, 200, 250, 300]),
'optimiser': hp.choice('optimizer', ['adam', 'rmsprop', COCOB()]),
'learning_rates': hp.loguniform('learning_rates', np.log(0.1), np.log(0.001)),
'loss': hp.choice('loss', ['mean_absolute_error', diff_smape]),
'window': hp.choice('window', [True, False]),
'window_size': hp.quniform('window_size', 13, 104, 1),
'teacher_forcing': hp.choice('teacher_forcing', [True, False])
}
このスペースを検索すると、スペースを 10 ~ 20 回繰り返した後、次のエラーが発生します。
Traceback (most recent call last):
File "hyperparam_gru.py", line 159, in <module>
best = fmin(seq2seq_model_gru, space, algo=tpe.suggest, max_evals=100, trials=trials)
File "/lib/python3.6/site-packages/hyperopt/fmin.py", line 367, in fmin
return_argmin=return_argmin,
File "/lib/python3.6/site-packages/hyperopt/base.py", line 635, in fmin
return_argmin=return_argmin)
File "/lib/python3.6/site-packages/hyperopt/fmin.py", line 385, in fmin
rval.exhaust()
File "/lib/python3.6/site-packages/hyperopt/fmin.py", line 244, in exhaust
self.run(self.max_evals - n_done, block_until_done=self.asynchronous)
File "/lib/python3.6/site-packages/hyperopt/fmin.py", line 202, in run
self.rstate.randint(2 ** 31 - 1))
File "/lib/python3.6/site-packages/hyperopt/tpe.py", line 901, in suggest
print_node_on_error=False)
File "/lib/python3.6/site-packages/hyperopt/pyll/base.py", line 913, in rec_eval
rval = scope._impls[node.name](*args, **kwargs)
File "/lib/python3.6/site-packages/hyperopt/tpe.py", line 466, in adaptive_parzen_normal
assert prior_sigma > 0
AssertionError
表現力の低いスペース (および他のスペース) を検索することができました。
space= {
'latent_dim1': hp.choice('latent_dim1', [30, 50, 70, 90]),
'batch_size': hp.choice('batch_size', [16, 32, 64, 128, 256, 512]),
'epochs': hp.choice('epochs', [100, 150, 200, 250]),
'optimiser': hp.choice('optimizer', ['adadelta', 'adam', 'rmsprop', COCOB()]),
'learning_rates': hp.choice('learning_rates', [0.1, 0.01, 0.001]),
'loss': hp.choice('loss', ['mean_absolute_error', diff_smape]),
'window': hp.choice('window', [True, False]),
'window_size': hp.choice('window_size', [13, 26, 39, 52, 78, 104]),
'teacher_forcing': hp.choice('teacher_forcing', [True, False])
}
エラーの処理方法がわかりません。理想的には、ハイパーパラメータのどの組み合わせが問題を引き起こしているかを省略し、次の組み合わせに進んで試してみたいと思います. ただし、現時点では、エラーはプログラムを終了させるだけです。