問題タブ [hyperparameters]

GridsearchCV() には引数 cv があり、デフォルト値は 3 で、3 倍であることを意味します。ホールドアウト検証スキームで Gridsearch() を使用する方法はありますか? たとえば、80-20% 分割???

さて、アルゴリズムのどの時点で Kfold CV と GridSearchCV を適用するかを理解しようとしています。また、私が正しく理解している場合、GridSearchCV はハイパーパラメーターの調整に使用されます。つまり、どの引数の値が最良の結果をもたらすか、Kfold CV は一般化を改善するために使用されるため、さまざまなフォールドで同様にトレーニングし、データが順序付けられている場合はバイアスを減らします。いくつかの特定の方法で、したがって一般化が増加します。問題は、GridSearchCV が CV パラメータを使用してクロス検証を行っているのではないかということです。では、なぜ Kfold CV が必要なのですか? また、必要な場合は GridSearchCV の前に行うのでしょうか? プロセスの簡単な概要は非常に役立ちます。

ハイパーパラメータの最適化にSMAC v3を使用しようとしています。

ターゲット関数 ( tae_runner ) の計算量を一定にして最適化プロセスを制限し、「ミニバッチ」モードで実行し たいと考えています。止まったところ。

この計算予算の妥当なサイズを決定するにはどうすればよいでしょうか?
以下に懸念事項を説明します。

私のターゲット関数はかなり高価で、計算に 1 ～ 10 秒、またはそれ以上かかることがあります。したがって、ミニバッチを使用して、問題に固有の追加の手順を実行することにしました。

このコードはうまくいくようです。ドキュメントで見つけたものは次のとおりです。

wallclock_limit、runco ​​unt_limit、および tuner-timeout は、最適化に使用される最大ウォールクロック時間、アルゴリズム呼び出しの数、および CPU 時間をそれぞれ制御するために使用されます。

リポジトリのコードから理解できる限り、このコードは次のように簡単に機能します。

1) SMAC は SMBO をラップし、シナリオとその他のパラメーターをそれに渡します。

2)常に新しいチャレンジャーを生成しているメインの SMBO ループがあります(インターリーブ ランダムを含めて、たまたま 10K になります)。

そしてそれらを現職者と比較します （これまでで最もよく見つかった構成）：

runco ​​unt_limitしか設定していない場合、 time_boundは何ですか?

3) 予算を超えた場合、メインの smbo ループは終了します。

そして、生成され、コストが予測され、ソートされた残りのチャレンジャーは、単にドロップされます。

私の懸念は次のとおりです。runco​​unt_limit の値が小さすぎる場合、たとえば1、または10そのようなものである場合、多くの構成 (5K) を生成、ソート、および破棄するためのリソースが大量に浪費され、開始と停止のオーバーヘッドが発生する可能性があります。ミニバッチごとに smac 。
一方、runco​​unt_limitを 10K の倍数に設定すると、ミニバッチではなくなります。

それらのバッチのサイズを実証する方法を提案できますか?