machine-learning - ロジスティック回帰大マージン分類器は何ですか?

Question

SVMでの大きなマージン効果を理解しているように：

たとえば、次の画像を見てみましょう。

正則化項による SVM 最適化目標では、(パラメータ ベクトル) シータのノルムが小さいパラメータのセットを見つけようとします。したがって、小さなベクトル シータと、このベクトルに対する正の例 (p) の射影を見つける必要があります (内積の小さなシータ ベクトルを補償するため)。同時に、p が大きいと大きなマージンが得られます。この画像では、理想的なシータと大きな p (および大きなマージン) が見つかります。

私の質問：

ロジスティック回帰が大きなマージン分類器ではないのはなぜですか? LR では、同じ方法で正則化項のシータ ベクトルを最小化します。もしそうなら、私は何かを理解していなかったのかもしれません - 訂正してください。

Coursera ml クラスの画像と理論を使用しました。

Answer 1

ロジスティック回帰は大きなマージン損失です。Lecun は、エネルギーに基づく学習に関する 1 つまたは複数の論文でこれについて言及しています。

LR がマージンを誘発することを確認するには、ソフトマックス損失 (LR と同等) を見る方が簡単です。

ソフトマックス損失には 2 つの項があります。L(z)=z_{true} - log(\sum_i \exp(z_i))

つまり、例の真の決定境界からの距離は、すべての決定境界からの距離の対数合計よりも優れている必要があります。

ソフトマックス関数は確率分布であるため、ソフトマックスの対数の最大値は 0 であり、ソフトマックス関数の下で真のクラスの確率が 1 に近づくと、ソフトマックスの対数は 0 に近づく負の値 (つまり、ペナルティ) を返します。