machine-learning - デシオン ツリーおよび AdaBoost アルゴリズムに対する SVM の利点

Question

私はデータのバイナリ分類に取り組んでおり、決定木や適応ブースティング アルゴリズムよりもサポート ベクター マシンを使用することの利点と欠点を知りたいです。

Answer 1

wekaを使用することもできます。これは、データをプラグインし、さまざまな機械学習分類器を試して、特定のセットでそれぞれがどのように機能するかを確認するために使用できる優れたパッケージです。これは、機械学習を行う人々にとって、よく通用する道です。

特定のデータ、または解決しようとしている分類問題について何も知らないので、各メソッドについて知っていることをランダムに説明する以上のことはできません。そうは言っても、ここにブレイン ダンプといくつかの有用な機械学習スライドへのリンクがあります。

Adaptive Boostingは、弱基底分類子の委員会を使用して、サンプル ポイントのクラス割り当てに投票します。基本分類子は、決定株、決定木、SVM などにすることができます。反復的なアプローチが必要です。各反復で - 委員会が特定のサンプルのクラス割り当てについて同意し、正しい場合、重み付けが低くなり (次の反復で正しく行うことの重要性は低くなります)、委員会が同意しない場合は、次のようになります。加重します (次の反復で正しく分類することがより重要です)。Adaboost は、優れた一般化 (オーバーフィッティングではない) で知られています。

SVMは便利な最初の試みです。さらに、SVM でさまざまなカーネルを使用して、線形の決定境界だけでなく、よりファンキーな形状の決定境界を取得することもできます。L1 正則化 (スラック変数) を適用すると、オーバーフィッティングを防ぐだけでなく、分離できないデータを分類することもできます。

デシジョン ツリーは、誰でも解釈できるので便利です。それらは使いやすいです。ツリーを使用するということは、特定の機能がそのツリーを作成する上でどれほど重要であったかを理解できることも意味します。チェックしたいのは、加法ツリー ( MARTなど) です。