問題タブ [hyperparameters]

R^nがn不明なの球体に対してグリッド検索を (問題がある場合は Python で) 実装しようとしています。

入力には、球の半径と中心、およびthetaグリッドの解像度を制御するハイパーパラメータが含まれます。この球体の各点を、これら 3 つのパラメーターの関数として表現したいと思います。

また、立方体の面のみを反復して、立方体検索を検討することも考えています。(つまり、L_inf球体の反復)

n=2 だとわかっていたら、次のようにします。

任意に大きくなる可能性があるためn、球\キューブを効率的に反復処理する方法を探しています。

何か案は？

++++++++++++++++++++++++++++++++++++++++++++++++++++ +++++++++++

私は、ストラブリーが提案したものの修正版を使用することになりました：

出力図:

もう 1 つのオプションは 、球上に均一に分散されたサンプルを生成することです。サンプルの数がポイントの「密度」(または期待される密度) を制御することに注意してください。

(単純さと効率の点で) 最悪の方法は、n-1 角度の列挙を使用して球上に点を生成することです。効率の欠如は、計算された製品の必要性に起因しsin、cos多くの場合（これもハッキングされる可能性があります）

Keras モデルのハイパーパラメータを最適化するためにスペアミントを使用している場合、初めて正常に動作します。ただし、2 番目以降のジョブでは、常に次のエラーがスローされます。

次のコードを使用して、トレーニング データとテスト データの事前に作成された numpy 配列をロードしています。次のパラメーターは、最適化 Python スクリプトによって渡されます。ただし、スペアミントなしで実行すると、パラメーターのセットは正常に機能します。

データセットが 1 つあり、データセット全体に対して 10 倍の交差検証などの交差検証を行う必要があります。パラメータを選択して放射基底関数 (RBF) カーネルを使用したいと考えています (RBF カーネルには C とガンマの 2 つのパラメータがあります)。通常、人々は開発セットを使用して SVM のハイパーパラメーターを選択し、開発セットに基づいて最適なハイパーパラメーターを使用し、それをテスト セットに適用して評価します。ただし、私の場合、元のデータセットは 10 個のサブセットに分割されています。残りの 9 つのサブセットでトレーニングされた分類子を使用して、1 つのサブセットが順次テストされます。固定されたトレーニング データとテスト データがないことは明らかです。この場合、ハイパーパラメータの選択はどのようにすればよいですか?

2 つのクラスで構成される分類問題を解決するために、さまざまな分類子を使用しています。もちろん、最適化問題として扱いたいハイパーパラメータを調整する必要があります。コスト関数は (クロス検証された) 精度です。次の 3 つの異なる最適化問題があります。

1. 連続パラメーター + 最適化する 1 ～ 2 個の整数値パラメーター (おそらく、整数値パラメーターを削除して個別に最適化することができます) パラメーターの範囲制約 (下限と上限) いくつかのパラメーターの等式制約 => sum(w(i) ) = 1 (重みパラメーター w(i) の場合) ここで、0 <= w(i) <= 1 です。重みは、SVM の重み付き RBF カーネルで使用されます。

2. 連続パラメータのみ パラメータの境界制約

3. 整数値パラメーターのみ パラメーターの境界制約

Matlab の fminsearch 関数を使用して Nelder-Mead から始めましたが、これは 1. と 3. には最適ではないようです。これら 3 つのタイプに使用する最適化手順はどれですか? 1 つの可能性は、Matlab の ga 関数を使用した混合整数プログラミングですが、ドキュメントによると、等式制約が問題になる可能性があります。

さらに、文字列 (ユークリッド距離など) である距離メトリック パラメーターがあります。最適化手順でこれを整数として扱う必要がありますか? たとえば、ユークリッドを 1、マハラノビスを 2 などにマッピングします。

その上、追加の問題は極小値です。これをどのように効率的に解決できますか (少し時間がかかるランダムな再起動を使用せずに)?

SVM を使用するシステムと RBF カーネルを比較する場合、すべてのシステムで同じ C とガンマ (C=10、ガンマ=0.1 などの固定値) を使用するか、ハイパーパラメーター ターニングを行い、それぞれに最適な C とガンマの値を選択する必要があります。システム？

ランダム検索は、機械学習におけるハイパーパラメーター最適化の 1 つの可能性です。RBF カーネルを使用して SVM 分類器の最適なハイパーパラメーターを検索するために、ランダム検索を適用しました。連続コストとガンマ パラメータに加えて、1 つの離散パラメータと、いくつかのパラメータに対する等式制約もあります。

ここで、たとえば適応ランダム検索など、ランダム検索をさらに発展させたいと思います。これは、例えば、検索方向または検索範囲の適応を意味します。

誰かがこれをどのように行うことができるか、またはこれに関する既存の作業を参照できるか考えていますか? ランダム検索を改善するための他のアイデアも歓迎します。

Tensorflow と AdamOptimizer を使用して回帰問題を解決する非常に単純な ANN があり、すべてのハイパーパラメーターを調整するところまで来ました。

今のところ、調整が必要なさまざまなハイパーパラメータが多数あります。

• 学習率 : 初期学習率、学習率減衰
• AdamOptimizer には 4 つの引数 (learning-rate、beta1、beta2、epsilon) が必要なので、それらを調整する必要があります - 少なくとも epsilon
• バッチサイズ
• 反復回数
• ラムダ L2 正則化パラメーター
• ニューロン数、層数
• 出力層の非表示層の活性化関数の種類
• ドロップアウト パラメータ

2 つの質問があります。

1) 私が忘れたかもしれない他のハイパーパラメータを見つけますか?

2) 今のところ、私のチューニングは完全に「手動」であり、すべてを適切に行っているかどうかはわかりません。パラメータを調整する特別な順序はありますか? たとえば、最初に学習率、次にバッチサイズ、そして...これらすべてのパラメータが独立しているとは確信していません - 実際、そうでないものもあると確信しています。明らかに独立しているのはどれで、明らかに独立していないのはどれですか? 次に、それらを一緒に調整する必要がありますか? すべてのパラメータを特別な順序で適切に調整することについて説明している論文や記事はありますか?

編集:これは、さまざまな初期学習率、バッチサイズ、正則化パラメーターについて取得したグラフです。紫色の曲線は私にとっては完全に奇妙です.コストは他のものと同じようにゆっくりと減少しますが、より低い精度率で立ち往生します. モデルがローカル ミニマムでスタックしている可能性はありますか?

正確さ

料金

学習率については、減衰を使用しました: LR(t) = LRI/sqrt(epoch)

ご協力いただきありがとうございます ！ポール

ランダム フォレスト モデル作成用のレンジャー パッケージの速度は気に入っていますが、mtry やツリーの数を調整する方法がわかりません。キャレットの train() 構文を使用してこれを実行できることはわかっていますが、純粋なレンジャーを使用することによる速度の向上を好みます。

ranger を使用した基本的なモデル作成の例を次に示します (これはうまく機能します)。

調整オプションの公式ドキュメントを見ると、csrf() 関数がハイパーパラメーターを調整する機能を提供しているように見えますが、正しい構文を取得できません。

結果:

そして、レンジャーが提供する通常の（読み取り：非csrf）rfアルゴリズムで調整したいと思います。レンジャーのいずれかのパスのハイパーパラメータ調整ソリューションに関するアイデアはありますか? ありがとうございました！