2

ニューラルネットワークのハイパーパラメータを調整するために、ハイパーオプトを使用して空間を検索しています。私が探しているスペースは次のとおりです。

space = {
    'latent_dim1': hp.qloguniform('latent_dim1', np.log(30), np.log(70), 1),

    'batch_size': hp.choice('batch_size', [32, 64, 128]),

    'epochs': hp.choice('epochs', [150, 200, 250, 300]),

    'optimiser': hp.choice('optimizer', ['adam', 'rmsprop', COCOB()]),
    'learning_rates': hp.loguniform('learning_rates', np.log(0.1), np.log(0.001)),

    'loss': hp.choice('loss', ['mean_absolute_error', diff_smape]),

    'window': hp.choice('window', [True, False]),
    'window_size': hp.quniform('window_size', 13, 104, 1),

    'teacher_forcing': hp.choice('teacher_forcing', [True, False])
}

このスペースを検索すると、スペースを 10 ~ 20 回繰り返した後、次のエラーが発生します。

Traceback (most recent call last):
  File "hyperparam_gru.py", line 159, in <module>
    best = fmin(seq2seq_model_gru, space, algo=tpe.suggest, max_evals=100, trials=trials)
  File "/lib/python3.6/site-packages/hyperopt/fmin.py", line 367, in fmin
    return_argmin=return_argmin,
  File "/lib/python3.6/site-packages/hyperopt/base.py", line 635, in fmin
    return_argmin=return_argmin)
  File "/lib/python3.6/site-packages/hyperopt/fmin.py", line 385, in fmin
    rval.exhaust()
  File "/lib/python3.6/site-packages/hyperopt/fmin.py", line 244, in exhaust
    self.run(self.max_evals - n_done, block_until_done=self.asynchronous)
  File "/lib/python3.6/site-packages/hyperopt/fmin.py", line 202, in run
    self.rstate.randint(2 ** 31 - 1))
  File "/lib/python3.6/site-packages/hyperopt/tpe.py", line 901, in suggest
    print_node_on_error=False)
  File "/lib/python3.6/site-packages/hyperopt/pyll/base.py", line 913, in rec_eval
    rval = scope._impls[node.name](*args, **kwargs)
  File "/lib/python3.6/site-packages/hyperopt/tpe.py", line 466, in adaptive_parzen_normal
    assert prior_sigma > 0
AssertionError

表現力の低いスペース (および他のスペース) を検索することができました。

space= {
    'latent_dim1': hp.choice('latent_dim1', [30, 50, 70, 90]),

    'batch_size': hp.choice('batch_size', [16, 32, 64, 128, 256, 512]),

    'epochs': hp.choice('epochs', [100, 150, 200, 250]),

    'optimiser': hp.choice('optimizer', ['adadelta', 'adam', 'rmsprop', COCOB()]),
    'learning_rates': hp.choice('learning_rates', [0.1, 0.01, 0.001]),

    'loss': hp.choice('loss', ['mean_absolute_error', diff_smape]),

    'window': hp.choice('window', [True, False]),
    'window_size': hp.choice('window_size', [13, 26, 39, 52, 78, 104]),

    'teacher_forcing': hp.choice('teacher_forcing', [True, False])
}

エラーの処理方法がわかりません。理想的には、ハイパーパラメータのどの組み合わせが問題を引き起こしているかを省略し、次の組み合わせに進んで試してみたいと思います. ただし、現時点では、エラーはプログラムを終了させるだけです。

4

0 に答える 0