問題タブ [optuna]

xgboost のパラメーターを最適化しているときに、roc_auc_score メトリックで問題が発生しました。トレーニング データの結果と比較して、相互検証中に大幅に異なる結果が得られます。

コードを実行した後:

受け取りました:

したがって、結果は約 0.8 ( train-auc-mean 0.796818 ) です。そしてその後実行：

受け取りました:

だから無理です。カスタマイズ機能も使用してみました：

メトリックを定義せずに設定しfevalてに渡し、結果は同じでした。xgb.cvparam['disable_default_eval_metric'] = 1

次に、RandomizedSearchCV を使用しようとしました。

出力は次のとおりです。

それでも同じ問題があります。クロス検証中のスコアは約 0.8 で、その後は 0.6 です。さまざまな指標が使用されていると思います。

私が見つけた解決策は、 RandomizedSearchCV: を渡すことでしたscoring=make_scorer(roc_auc_score)。これにより問題が解決し、交差検証で同じ結果が得られ、その後約0.6になりました。

私はまだそれを理解していないので、誰が問題が何であったか説明できますか? そして、optuna 最適化を使用してそれを解決する方法はまだわかりません。