machine-learning - SVMlight - 重みベクトルを見つける目的は何ですか?

Question

SVMlightサイト(FAQ 内) では、ハイパーレーンの重みベクトルを計算するスクリプトが提供されています。「サポートベクターの重み付き合計を計算する」と書かれています。

これは何を意味するのでしょうか？つまり、スクリプトは何を行い、この重みベクトルの意味と使用法は何ですか?

前もって感謝します！

Answer 1

線形の場合、超平面は常に数値で定義できますd+1。ここで、d は入力空間の次元ですが、実際のサポート ベクターの数ははるかに大きい場合があります。この超平面 (w と呼びましょう) を計算すると、よりコンパクトなモデルが得られ、それを使用して分類を実行できます。

cl(x) = sgn(w'x + b)

ここで、w' は w の転置

カーネル化されたバージョンでは、w が特徴空間射影の形式であるため、事態はさらに複雑になります。入力空間の超平面ではなく、非常に豊富な機能空間の超平面)。

Answer 2

「サポート ベクターは、削除された場合に分割超平面の位置を変更するトレーニング セットの要素です。」重みは、超平面に直交するベクトルの座標を提供することにより、この超平面を表します。「サポート ベクターの加重和を計算する」とは数学的sign(w'*x +b)にを意味します。新しいものが届くと、それが属するクラスが決定されます。xw'w'x+bxsign(w'x+b)

重みが 0 のトレーニング サンプルの場合x、それはサンプルが超平面に寄与しないことを意味し、それをxサポート ベクターとして含めると、分類エラーが増加するか、マージンが減少します。

詳細については、多数の図を含むリファレンス チュートリアルを参照してください。