問題タブ [regularized]

私が得ている結果にはいくらかがっかりしています。と' またはを使用して 2 つのモデル ( sklearn.linear_models.LogisticRegression)を作成し、 と を使用してそれらをテストします。私にとっては、実質的に正則化は行われず、AUC は同じであるはずです。代わりに、ペナルティのあるモデルは AUC が悪く、複数回実行しても同じ結果が得られます。これはどのように起こりますか？C=1e80penalty = 'l1'l2'sklearn.cross_validation.cross_val_scorecv=3scoring='roc_auc'C=1e80'l2'

Python で sklearn を使用してリッジ回帰を実行すると、coef_ 出力から 2D 配列が得られます。ドキュメントによると、それは（n_targets、n_features）です。

特徴が私の係数であることを理解しています。ただし、ターゲットが何かはわかりません。これは何ですか？

にsklearnは、 LogisticRegressionpythonのCパラメーター (正則化パラメーター) があります。

さて、私はR言語で同等のものは何だろうと思っていますか? Rでロジスティック回帰を行うときは、次のようにします。

しかし、それはCパラメータに何を使用していますか? は正則化のCためのものですが、そのような同等のものはR?にはありません。

ここに私がチェックしたいくつかの場所があります：

http://data.princeton.edu/R/glms.html

LASSO と Elastic Net の代替として、この方法を正規化された回帰として試しています。40,000 のデータ ポイントと 40 の機能があります。Lasso は 5 つの特徴を選択し、直交マッチング追跡は 1 つだけを選択します。

何が原因でしょうか? 私は間違った方法で omp を使用していますか? おそらく、回帰として使用することを意図したものではありません。私が間違っているかもしれない他のことについて何かできることがあれば教えてください。

Udacity DeepLearning コースの一部である ANN で遊んでいます。

L2 損失を使用して 1 つの非表示の ReLU レイヤーを使用して、ネットワークに一般化を導入する課題があります。出力レイヤーの重みだけでなく、すべての重みがペナルティを受けるように適切に導入する方法を考えています。

一般化なしのネットワークのコードは投稿の最後にあります (実際にトレーニングを実行するコードは質問の範囲外です)。

L2 を導入する明白な方法は、損失計算を次のようなものに置き換えることです (ベータが 0.01 の場合)。

ただし、そのような場合、出力レイヤーの重みの値が考慮されます。非表示の ReLU レイヤーに入る重みに適切にペナルティを課すにはどうすればよいかわかりません。それはまったく必要ですか、それとも出力レイヤーのペナルティを導入すると、何らかの形で隠された重みもチェックされますか?

私は現在、Udactity DeepLearning コースの一部である ANN で遊んでいます。

ネットワークの構築とトレーニングに成功し、すべての重みとバイアスに L2 正則化を導入しました。現在、一般化を改善するために、隠れ層のドロップアウトを試しています。L2正則化を非表示レイヤーに導入し、同じレイヤーでドロップアウトすることの両方に意味があるのでしょうか? もしそうなら、これを適切に行う方法は？

ドロップアウトの間、文字通り、隠れ層のアクティブ化の半分をオフにし、残りのニューロンによって出力される量を 2 倍にします。L2 を使用している間、すべての隠れた重みについて L2 ノルムを計算します。しかし、ドロップアウトを使用した場合の L2 の計算方法がわかりません。いくつかのアクティベーションをオフにします。現在「使用されていない」重みを L2 計算から削除すべきではありませんか? その問題に関する参考文献は役に立ちますが、情報は見つかりませんでした。

念のため、L2 正則化を使用した ANN のコードを以下に示します。

正則化による一般化された線形モデルの実装を探しました。glmnet ではカスタム リンク機能が許可されていないことがわかりました。ただし、h2o はリンク関数の型をパラメーターとして受け取ります。h2o でファミリ (最適化の問題は同じ) でカスタム リンク関数を定義して使用することは可能ですか?