statistics - 確率的勾配降下法を使用したカーネル SVM プライマル

Question

要するに、私は現在、カーネルを使用したオンライン学習 ( http://books.nips.cc/papers/files/nips14/AA33.pdf ) を読んでいて、彼が式 6 から式 8 に到達した方法を理解できません。そして7。

アイデアは次のとおりです。リスク関数を最小限に抑えたい

$R_stoch\[f,t\]:=c(x_t,y_t,f(x_t))+\lambda\Omega\[f\]$

に代表定理を適用したい場合、次のfように書きます。

$f(x)=\sum\alpha_i k(x,x_i)$

どうすればSTOCHASTIC勾配降下の更新に到達できますか?

Answer 1

k(x _i , x)の集合はHの基底を形成しているように見え、fはHにあるため、fは「カーネル関数」の線形結合として記述できます。

したがって、k(x _i , x)の集合がHの基底を形成するふりをすると、左側に線形の戦闘があり、右側に別の線形戦闘があり、それらが等しい場合、それらの基底が等しいことは明らかです。ベクトル係数も等しくなければなりません (線形代数では、ベクトルが等しいということはベクトル係数が (同じ基底で!) 等しいことを意味することはよく知られています)。