machine-learning - 「機械学習アルゴリズムが確率分布を学習する」というフレーズはどういう意味ですか? ここで正確に何が起こっているのか

Question

生成モデルと識別モデルは、条件付き P(x|y) および結合 P(x,y) 確率分布を学習するようです。しかし、基本的なレベルでは、確率分布が学習されることによってそれが何を意味するのかを自分自身に納得させることができません.

Answer 1

これは、モデルが、トレーニング サンプルが抽出された分布の推定器として機能しているか、その推定器を利用して他の予測を実行していることを意味します。

些細な例として、一連の観測を考えてみましょう{x[1], ..., x[N]}。ガウス推定器をトレーニングしたいとしましょう。これらのサンプルから、このガウス推定量の最尤パラメーターはデータの平均と分散になります

Mean = 1/N * (x[1] + ... + x[N])

Variance = 1/(N-1) * ((x[1] - Mean)^2 + ... + (x[N] - Mean)^2)

これで、トレーニング サンプルが抽出された分布 (の推定値) から新しいサンプルを生成できるモデルができました。

もう少し洗練されたものにすると、ガウス混合モデルのようなものを考えることができます。これは同様に、与えられたデータからモデルの最適なパラメーターを推測します。今回を除いて、そのモデルは複数のガウス分布で構成されています。その結果、いくつかのテスト データが与えられた場合、観測点での確率密度に対する各ガウス成分の相対的な寄与に基づいて、これらのサンプルのそれぞれに確率的にクラスを割り当てることができます。もちろん、これは機械学習の基本的な仮定になります。つまり、トレーニング データとテスト データはどちらも同じ分布から抽出されます (チェックする必要があります)。