machine-learning - ロジスティック回帰の確率的解釈を理解する

Question

ロジスティック回帰の確率的解釈についての直感を発達させるのに問題があります。具体的には、ロジスティック回帰関数の出力を確率と見なすことが有効なのはなぜですか。

Answer 1

あらゆるタイプの分類は、クラス条件付き密度（つまり、クラスが与えられた場合、そのクラスに属する確率は何ですか）とクラスの事前確率（つまり、クラスの確率は何ですか）をモデル化することにより、確率的生成モデルと見なすことができます。ベイズの定理を適用して事後確率を取得できます（つまり、xが与えられた場合、それがクラスに属する確率はどれくらいですか）。ビショップが彼の本で述べているように、周辺分布からの値を描画することによってモデルを使用して合成データを生成できるため、これは生成的と呼ばれます。p(x|C_k)C_kxp(C_k)C_kp(C_k|x)C_kxp(x)

これはすべて、何かを特定のクラスに分類するたびに（たとえば、腫瘍のサイズが良性の悪性である）、それが正しいか間違っている可能性があることを意味します。

ロジスティック回帰は、データを分類するためにシグモイド関数（またはロジスティック関数）を使用します。このタイプの関数の範囲は0から1であるため、簡単に使用して確率分布と考えることができます。最終的に、あなたは探していますp(C_k|x)（この例でxは、腫瘍のサイズであり、C_0は良性およびC_1悪性を表すクラスです）。ロジスティック回帰の場合、これは次のようにモデル化されます。

p(C_k|x) = sigma( w^t x )

ここsigmaで、はシグモイド関数、w^tは重みの転置セット、wはx特徴ベクトルです。

ビショップの本の第4章を読むことを強くお勧めします。