machine-learning - C4.5 決定木: 分類確率分布?

Question

Weka の J48 (C4.5) 決定木分類器を使用しています。一般に、決定木の場合、葉に当たると分類確率分布を決定できますか? Naive Bayes を使用すると、分類を試行するたびに分類分布が生成されることがわかっています。

決定木で可能であれば、この機能は Weka J48 ツリーで利用できますか? または、独自のツリーを実装することもできます。

Answer 1

各リーフには、実際には離散分布である分類決定があるため、それが示すクラスは 100% で、他のすべてのクラスは 0 です。必要に応じて、トレーニング セットを使用してすべての内部ノードの分布を生成することもできます。

ツリーを学習した後に剪定を行う場合は、ツリーを介してトレーニング セットを再実行し、実際の各クラスがそのリーフに到達する頻度で各リーフにラベルを付けることができます。これが分布になります。

編集:たとえば、ツリーを取得したら。クラスごとに 1 つのビンを持つヒストグラムを各ノードに関連付けることができます。次に、トレーニング セットを分類します。ツリー内のノードを通過する場合は、そのクラスに対応するビンに 1 つ追加します。完全なトレーニング セットを実行した後、各ヒストグラムを正規化して 1 を追加します。葉が 100% に近すぎると感じた場合は、たとえば、各ヒストグラムのエントロピーを使用して、さらに何を削減するかを決定できます。