それは実際にどのようにノイズを減らしますか..いくつかの素晴らしいチュートリアルを提案できますか?
5 に答える
SVD は、正方行列の幾何学的な意味から、ベクトルの変換として理解できます。
ベクトル v を乗算して出力ベクトル w を生成する正方 nxn 行列 M を考えます。
w = M*v
特異値分解 M は 3 つの行列の積M=U*S*V
ですw=U*S*V*v
。U と V は正規直交行列です。幾何学的変換の観点から (ベクトルを乗算することによって作用する)、それらは、乗算するベクトルの長さを変更しない回転と反射の組み合わせです。S は、n 軸のそれぞれに沿ったさまざまなスケーリング係数 (対角項) によるスケーリングまたはスカッシングを表す対角行列です。
したがって、ベクトル v に行列 M を左から掛けると、v を M の正規直交係数 V で回転/反射し、対角係数 S で結果をスケーリング/スカッシュし、M の正規直交係数 U で結果を回転/反射します。
数値的な観点から SVD が望ましい理由の 1 つは、正規直交行列による乗算が可逆で非常に安定した演算であることです (条件数は 1)。SVD は、対角スケーリング行列 S の悪条件をキャプチャします。
SVD を使用してノイズを低減する 1 つの方法は、分解を行い、ゼロに近いコンポーネントを正確にゼロに設定してから、再構成することです。
SVD に関するオンライン チュートリアルを次に示します。
Numerical Recipesをご覧になることをお勧めします。
特異値分解は、nxm 行列 M を取り、それを M=U S Vとなるように 3 つの行列に「分解」する方法です。 ) M の「特異値」を含む行列。U と V は直交しているため、SVD の幾何学的な理解につながりますが、ノイズ低減には必要ありません。
M=U S V の場合、すべてのノイズが損なわれていない元の行列 M がまだ残っています。ただし、k 個の最大特異値のみを保持する場合 (これは簡単です。多くの SVD アルゴリズムは、S のエントリが増加しない順序で並べ替えられた分解を計算するためです)、元の行列の近似値が得られます。これが機能するのは、小さな値がノイズであり、データ内のより重要なパターンが、より大きな特異値に関連付けられたベクトルを通じて表現されると想定しているためです。
実際、結果として得られる近似は、元の行列の最も正確なランク k 近似です (最小二乗誤差があります)。
タイトルの質問に答えるには: SVD は、固有値/固有ベクトルを非正方行列に一般化したものです。たとえば、$X \in N \times p$ とすると、X を SVD 分解すると X=UDV^T が得られます。ここで、D は対角行列で、U と V は直交行列です。ここで、X^TX は正方行列であり、X^TX=VD^2V の SVD 分解には、V が X^TX および D^2 の固有ベクトルに相当し、X^TX の固有値が含まれます。
SVD を使用すると、任意のモデル (式で表される) をデータ (2 つの変数に関して行列で表される) にグローバルに (つまり、すべての観測に対して同時に) フィッティングすることが大幅に容易になります。
たとえば、データ行列A = D * M Tの場合、Dはシステムの可能な状態を表し、Mは何らかの変数 (時間など) に対するその進化を表します。
SVD により、A (x,y) = U (x) * S * V T (y)、したがってD * M T = U * S * VT
then D = U * S * V T * M T+ここで、「+」は疑似逆数を示します。
次に、進化の数学モデルを取り、それをVの列に適合させることができます。各列は、モデルのコンポーネントの線形結合です (各列は 1D 曲線であるため、これは簡単です)。これにより、 M ?を生成するモデル パラメータが取得されます。(? はフィッティングに基づいていることを示します)。
M * M ?+ * V = V ? 残差R * S 2を許可します= V - V ? を最小化し、DとMを決定します。
かっこいいでしょ?
UとVの列を調べて、データに関する情報を収集することもできます。たとえば、Vの列の各変曲点は、通常、モデルの異なるコンポーネントを示します。
最後に、実際にあなたの質問に対処すると、それに付随するベクトルUとVを持つ連続する各特異値 (対角行列Sの要素)は信号対雑音比が低くなりますが、モデルのコンポーネントの分離はこれらの「重要度の低い」ベクトルは、実際にはより顕著です。言い換えれば、データが指数関数の合計などに続く一連の状態変化によって記述されている場合、各指数関数の相対的な重みは、より小さい特異値で互いに近くなります。言い換えれば、後の特異値のベクトルは滑らかではありませんが (ノイズが多くなります)、各成分によって表される変化はより明確になります。