svd - SVD 最適化式

Question

行列 X (n by p) の特異値分解または主成分分析につながる凸最適化式 (目的関数) を知っている人はいますか?

Answer 1

最大の特異値は、ノルム1のuとvについて、u ^TXvの最大値として計算できます。

特異値が行列X^T Xの固有値の平方根であることを考慮に入れることにより、レイリー商から別の式を導き出すことができます。この場合、最大の特異値は||Xvの最大値と見なすことができます。 || v単位ノルムの場合。残りの特異値は、最小-最大の原理から導き出すことができます

Answer 2

固有値 (特異値) はレイリー商を最大化します。これが、上位数個の特異値に対する反復法が機能する方法です。また、ランク r の近似について、ウィキペディアのSVDは Eckart-Young の定理を引用しています。SVD は
|M - Mr| を最小化します。フロベニウス ノルムのランク r 行列の (むしろ非凸) セットの Mr を超える。pca-lda-cca-and-pls の
下の表も参照してください。