(x, y)ペアのトレーニング セットがあるとします。xは入力例、yは対応するターゲット、yは値(1 ... k)(kはクラスの数) です。
トレーニング セットの尤度を計算する場合、トレーニング セット全体(すべての例) に対して計算する必要があります。つまり、次のようになります。
L = P(y | x) = p(y1 | x1) * p(y2 | x2) * ...
または、特定のトレーニング例に対して尤度が計算され(x, y)ますか?
私が尋ねているのは、これらの講義ノート(ページ 2) を見たからです。彼は L_i を計算しているようです。これは、すべてのトレーニング例の可能性です。
尤度関数は、いくつかのパラメーターが与えられた場合に一連のトレーニング データを生成する確率を記述し、最大の確率でトレーニング データを生成するパラメーターを見つけるために使用できます。トレーニング データのサブセットの尤度関数を作成できますが、それはデータ全体の尤度を表すものではありません。ただし、できること (および講義ノートで黙って行われているように見えること) は、データが独立しており、同一に分散されている (iid) と仮定することです。したがって、結合確率関数をより小さな部分に分割できます。つまり、p(x|theta) = p(x1|theta) * p(x2|theta) * ...(独立性の仮定に基づく)、これらの部分のそれぞれに同じパラメーター (シータ) を持つ同じ関数を使用できます。たとえば、正規分布 (同一性の仮定に基づく) などです。次に、対数を使用して積を合計に変換できますp(x|theta) = p(x1|theta) + p(x2|theta) + ...。その関数は、導関数をゼロに設定することで最大化できます。結果の最大値は、最大確率で x を作成するシータ、つまり最尤推定量です。