0

ベイジアン最適化ライブラリであるSpearmintを使用して、機械学習分類器のハイパーパラメーターを調整しようとしています。私の質問は、一様分布に従わないパラメーター検索空間をどのように表現するのですか?

プロジェクトの github ページから、一様に分散された 2 つのパラメーター検索スペースを設定する方法の例を次に示します。

"variables": {
    "X": {
        "type": "FLOAT",
        "size": 1,
        "min":  -5,
        "max":  10
    },
    "Y": {
        "type": "FLOAT",
        "size": 1,
        "min":  0,
        "max":  15
    }
}

スペアミントで以下のような検索スペースを定義するにはどうすればよいでしょうか?

SVC_PARAMS = [
    {
        "bounds": {
            "max": 10.0,
            "min": 0.01,
        },
        "name": "C",
        "type": "double",
        "transformation": "log",
    },
    {
        "bounds": {
            "max": 1.0,
            "min": 0.0001,
        },
        "name": "gamma",
        "type": "double",
        "transformation": "log",
    },
    {
        "type": "categorical",
        "name": "kernel",
        "categorical_values": [
            {"name": "rbf"},
            {"name": "poly"},
            {"name": "sigmoid"},
        ],
    },
]

現在スペアミントでサポートされているすべての確率的表現 (つまりuniform、normalなど) を検索する場所はありますか?log

4

1 に答える 1

0

スペアミントは、この種の変換をデータから自動的に学習します。https://github.com/HIPS/Spearmint/tree/master/spearmint/transformationsを見る と、適用されているベータ ワーピングの実装を確認できます (このペーパーで詳しく説明しています: http://arxiv. org/abs/1402.0929 )。Spearmint にはこれらのアプリオリを指定する方法はありませんが、Spearmint に、たとえばパラメーターのログを操作させることができます (パラメーター範囲のログを提供し、最後に累乗することにより)。

于 2015-10-21T14:28:37.880 に答える