machine-learning - ラプラス平滑化による負の情報利得の取得

Question

ラプラス平滑化も使用すると、負の情報利得を得ることができますか?

私たちは知っています：

IG = H(Y) - H(Y|X)

ここで、H はエントロピー関数、IG は情報ゲインです。

また：

H(Y) = -Σy P(Y= _y ).log ₂ (P(Y=y))

H(Y|X) = Σ _× P(X=x).H(Y|X=x)

H(Y|X=x) = -Σy P(Y= _y |X=x).log ₂ (P(Y=y|X=x))

たとえば、 P(Y=y|X=x) = n _y|x /n _xとします。しかし、n _x = 0 かつ n _y|x = 0 である可能性もあります。したがって、ラプラス平滑化を行い、P(Y=y|X=x) = (n _y|x +1)/(n _x +| X |))。ここで |X| X が取り得る可能な値の数を示します (X が属性として選択された場合に可能な分割の数)。ラプラス平滑化により、負の情報が得られる可能性はありますか?