machine-learning - 多変量決定木の学習者

Question

多くの単変量決定木学習器の実装 (C4.5 など) は存在しますが、実際に誰かが多変量決定木学習器アルゴリズムを知っていますか?

Answer 1

Bennett と Blue のデシジョン ツリーへのサポート ベクター マシン アプローチでは、ツリー内の各デシジョンに対して埋め込み SVM を使用して多変量分割を行います。

同様に、離散サポート ベクター マシンによるマルチカテゴリ分類 (2009)では、Orsenigo と Vercellis は、離散サポート ベクター マシン (DSVM) のマルチカテゴリ バリアントをデシジョン ツリー ノードに埋め込みます。

Answer 2

決定木のCARTアルゴリズムは、多変量にすることができます。CART は、離散値の一意の値ごとにノードを作成する C4.5 とは対照的に、バイナリ分割アルゴリズムです。欠損値と同じアルゴリズムを MARS にも使用します。

マルチバリアント ツリーを作成するには、各ノードで最適な分割を計算しますが、最適ではなかったすべての分割を破棄する代わりに、それらの一部 (おそらくすべて) を取得し、各ポテンシャルによってすべてのデータの属性を評価します。注文によって重み付けされたそのノードで分割します。そのため、最初の分割 (最大ゲインにつながる) は 1 で重み付けされます。次に、次に高いゲイン分割は、< 1.0 という割合で重み付けされます。その分割のゲインが減少するにつれて重みが減少する場所。その数は、左のノード内のノードの同じ計算と比較され、その数よりも大きい場合は左に移動します。そうでなければ右に行きます。これはかなり大雑把な説明ですが、決定木の多変量分割です。

Answer 3

はい、OC1 などのいくつかはありますが、単変量分割を行うものほど一般的ではありません。多変量分割を追加すると、検索スペースが大幅に拡張されます。一種の妥協案として、単純に線形判別関数を計算し、それらを候補変数リストに追加する論理学習器を見てきました。