python-3.x - Sparktrials で Hyperopt Trials の結果を保存できますか

Question

現在、ライブラリ hyperopt を使用して勾配ブースティング メソッドのハイパーパラメーターを最適化しようとしています。私が自分のコンピューターで作業していたとき、クラスを使用Trialsして、ライブラリのピクルスを使用して結果を保存および再ロードできました。これにより、テストしたすべてのパラメーター セットを保存することができました。私のコードは次のようになりました：

from hyperopt import SparkTrials, STATUS_OK, tpe, fmin
from LearningUtils.LearningUtils import build_train_test, get_train_test, mean_error, rmse, mae
from LearningUtils.constants import MAX_EVALS, CV, XGBOOST_OPTIM_SPACE, PARALELISM
from sklearn.model_selection import cross_val_score
import pickle as pkl

if os.path.isdir(PATH_TO_TRIALS): #we reload the past results
    with open(PATH_TO_TRIALS, 'rb') as trials_file:
        trials = pkl.load(trials_file)
else : # We create the trials file
    trials = Trials()
    
# classic hyperparameters optimization  
def objective(space):
    regressor = xgb.XGBRegressor(n_estimators = space['n_estimators'],
                            max_depth = int(space['max_depth']),
                            learning_rate = space['learning_rate'],
                            gamma = space['gamma'],
                            min_child_weight = space['min_child_weight'],
                            subsample = space['subsample'],
                            colsample_bytree = space['colsample_bytree'],
                            verbosity=0
                            )
    regressor.fit(X_train, Y_train)
    # Applying k-Fold Cross Validation
    accuracies = cross_val_score(estimator=regressor, x=X_train, y=Y_train, cv=5)
    CrossValMean = accuracies.mean()
    return {'loss':1-CrossValMean, 'status': STATUS_OK}

best = fmin(fn=objective,
            space=XGBOOST_OPTIM_SPACE,
            algo=tpe.suggest,
            max_evals=MAX_EVALS,
            trials=trials,
           return_argmin=False)

# Save the trials
pkl.dump(trials, open(PATH_TO_TRIALS, "wb"))

ここで、並列化を可能にして時間を稼ぐために、より多くの CPU を備えた離れたサーバーでこのコードを動作させたいと考えています。

SparkTrialsot の代わりに hyperoptのクラスを使用して簡単に実行できることがわかりましたTrials。ただし、SparkTrials オブジェクトは pickle で保存できません。オブジェクトに保存されたトライアル結果を保存して再ロードする方法について何か考えはありSparktrialsますか?