7

Vowpal Wabbit を使用して回帰で勾配ブースティングを使用する方法はありますか? 私は Vowpal Wabbit に付属している便利なさまざまなテクニックを使用しています。それに合わせて勾配ブースティングも試してみたいのですが、VWで勾配ブースティングを実装する方法が見つかりません。

4

1 に答える 1

11

勾配ブースティングの考え方は、アンサンブル モデルがブラック ボックスの弱いモデルから構築されるというものです。確かに VW をブラック ボックスとして使用できますが、VW は、ブースティングにおけるブラック ボックスの弱いモデルの最も一般的な選択肢である決定木を提供していないことに注意してください。一般に、ブースティングはバイアスを減少させます (そして分散を増加させます)。そのため、VW モデルの分散が低くなる (オーバーフィッティングが発生しない) ことを確認する必要があります。バイアスと分散のトレードオフを参照してください。

VW のブーストとバギングに関連するいくつかの削減があります。

  • --autolink Nは、多項式 N を使用してリンク関数を追加します。これは、ブースティングの簡単な方法と見なすことができます。
  • --log_multi Kは、K クラス分類用のオンライン ブースティング アルゴリズムです。論文を参照してください。二項分類 (K=2) にも使用できますが、回帰には使用できません。
  • --bootstrap Mオンライン重要度リサンプリングによる M-way ブートストラップ。--bs_type=vote分類と--bs_type=mean回帰に使用します。これはバギングであり、ブースティングではないことに注意してください。
  • --boosting N(2015-06-17 に追加) N 個の弱学習器によるオンライン ブースティング、理論論文を参照
于 2015-05-04T16:27:48.610 に答える