問題タブ [information-gain]

C4.5 ディシジョン ツリーで主な属性を選択するための「情報ゲイン」を計算するために使用されているパッケージを見つけたので、それらを使用して「情報ゲイン」を計算してみました。

しかし、各パッケージの計算結果は、以下のコードのように異なります。

各パッケージの計算結果が異なるのはなぜですか?

1500 万のデータで information.gain を実行しようとしています。使用したコード:

しかし、私はこのエラーが発生しています。

.jnew("java/lang/String", k) のエラー: java.lang.OutOfMemoryError: GC オーバーヘッド制限を超えました

これをどのように克服すればよいですか？

このコードを使用しようとしましたが、まだ機能しませんでした:

ラプラス平滑化も使用すると、負の情報利得を得ることができますか?

私たちは知っています：

ここで、H はエントロピー関数、IG は情報ゲインです。

また：

H(Y) = -Σy P(Y= _y ).log ₂ (P(Y=y))

H(Y|X) = Σ _× P(X=x).H(Y|X=x)

H(Y|X=x) = -Σy P(Y= _y |X=x).log ₂ (P(Y=y|X=x))

たとえば、 P(Y=y|X=x) = n _y|x /n _xとします。しかし、n _x = 0 かつ n _y|x = 0 である可能性もあります。したがって、ラプラス平滑化を行い、P(Y=y|X=x) = (n _y|x +1)/(n _x +| X |))。ここで |X| X が取り得る可能な値の数を示します (X が属性として選択された場合に可能な分割の数)。ラプラス平滑化により、負の情報が得られる可能性はありますか?