ここSOで、生成アルゴリズムと識別アルゴリズムの次の説明を見つけました。
「生成アルゴリズムは、信号を分類するためにデータがどのように生成されたかをモデル化します。それは質問をします:私の世代の仮定に基づいて、どのカテゴリがこの信号を生成する可能性が最も高いでしょうか?
識別アルゴリズムは、データがどのように生成されたかには関係なく、特定の信号を分類するだけです。」
そして、ここにパラメトリックアルゴリズムとノンパラメトリックアルゴリズムの定義があります
「パラメトリック: データは、未知のパラメータまでの特定の形式の確率分布から抽出されます。ノンパラメトリック: データは、特定の未指定の確率分布から抽出されます。」
本質的に、生成アルゴリズムとパラメトリック アルゴリズムは基礎となるモデルを想定しているのに対し、判別アルゴリズムとノンパラメトリック アルゴリズムはモデルを想定していないと言えますか?
ありがとう。
入力 X (おそらくベクトル) と出力 Y (おそらく単変量) があるとします。あなたの目標は、与えられた X から Y を予測することです。
生成法は、同時確率 p(X,Y) のモデルを使用して P(Y|X) を決定します。したがって、分布 p(X,Y) から一緒にサンプリングする既知のパラメーターを持つ生成モデルを指定して、入力 X と出力 Y の両方の新しいサンプルを生成することができます (これらは、仮定された、真ではない分布に従って分布されることに注意してください。これを行う）。これを、p(Y|X) の形式のモデルしか持たない識別アプローチと比較してください。したがって、入力 X があれば、Y をサンプリングできます。ただし、新しい X をサンプリングすることはできません。
どちらもモデルを想定しています。ただし、識別的アプローチは、Y が X ではなく X にどのように依存するかのモデルのみを想定しています。生成的アプローチは両方をモデル化します。したがって、固定数のパラメーターが与えられた場合、関心のあるもの p(Y|X) をモデル化するためにそれらを使用する方が X の分布よりも簡単であると主張するかもしれません (そして多くの人が持っています)。あなたがYを知りたいX.
有用な参考資料: Tom Minka によるこの (非常に短い) 論文。Andrew Ng と Michael Jordan によるこの重要な論文。
パラメトリック モデルとノンパラメトリック モデルの違いは、統計の経験が増えるまで把握するのがおそらく難しくなるでしょう。パラメトリック モデルには、観測されるデータ ポイントの数に関係なく、固定された有限数のパラメーターがあります。ほとんどの確率分布はパラメトリックです。変数 z は人の身長であり、正規分布していると考えられます。より多くの人を観察するにつれて、パラメーター \mu と \sigma (z の平均と標準偏差) の推定値はより正確になりますが、パラメーターは 2 つしかありません。
対照的に、ノンパラメトリック モデルのパラメーターの数は、データの量に応じて増加する可能性があります。測定値と固定標準偏差によって平均が与えられ、観測された各サンプルに正規分布を置く人々の身長の誘導分布を考えてみましょう。新しい高さの周辺分布は正規分布の混合であり、混合成分の数は新しいデータ ポイントごとに増加します。これは、人の身長のノンパラメトリック モデルです。この特定の例は、カーネル密度推定器と呼ばれます。一般的な (しかしより複雑な) ノンパラメトリック モデルには、回帰のガウス過程とディリクレ過程が含まれます。
ノンパラメトリックに関する非常に優れたチュートリアルがここにあります。このチュートリアルでは、有限混合モデルの極限として中華レストラン プロセスを構築しています。
ここでは、パラメトリック/ノンパラメトリックについてのみ話しています。生成的/識別的は別の概念です。
ノンパラメトリック モデルとは、データの分布について何も仮定しないことを意味します。たとえば、現実の世界では、データはガウス分布、ベータ分布、ポアソン分布、ワイブル分布などの理論上の分布に 100% 従うわけではありません。これらの分布は、データをモデル化するために開発されたものです。
一方、パラメトリック モデルは、パラメーターを使用してデータを完全に説明しようとします。実際には、モデルがさまざまな状況でどのように動作するかを定義するのが簡単になるため、この方法が好まれます (たとえば、モデルの導関数/勾配は既にわかっています。ポアソンでレートを高すぎる/低すぎると設定するとどうなるか)など）