問題タブ [svd]

それは実際にどのようにノイズを減らしますか..いくつかの素晴らしいチュートリアルを提案できますか?

これは私がする必要があることです-

私はこの方程式を持っています-

Ax = y

ここで、A は有理 m*n 行列 (m<=n) であり、x と y は適切なサイズのベクトルです。A と y は知っていますが、x が何に等しいかはわかりません。また、Ax が正確に y に等しい x は存在しないことも知っています。Ax' が y にできるだけ近くなるように、ベクトル x' を見つけたいと考えています。(Ax' - y) が (0,0,0,...0) に可能な限り近いことを意味します。

lstsq 関数のいずれかを使用する必要があることはわかっています: http://www.scipy.org/doc/numpy_api_docs/numpy.linalg.linalg.html#lstsq

または svd 関数: http://www.scipy.org/doc/numpy_api_docs/numpy.linalg.linalg.html#svd

ドキュメントがまったくわかりません。これらの関数を使用して私の問題を解決する方法を教えてください。

どうもありがとう！！！

高次元のデータセットを 2 次元に縮小しようとしています。ただし、事前にデータセット全体にアクセスすることはできません。したがって、N 次元ベクトルを取り、2 次元ベクトルを返す関数を生成して、N 次元空間で近いベクトルに与えると、結果が 2 次元で近くなるようにしたいと思います。スペース。

私はSVDが必要な答えだと思っていましたが、うまくいきません。

簡単にするために、N=3 とし、15 個のデータポイントがあるとします。すべてのデータを 15x3 行列 X に前もって持っている場合、次のようになります。

私がしたいことをします。しかし、1x3 ベクトルである新しいデータポイント A を取得したとします。U、S、または V を使用して A を適切な 1x2 ベクトルに変換する方法はありますか?

SVDが失われた原因である場合、誰かが私が代わりに何をすべきか教えてもらえますか?

注: これは Matlab コードですが、答えが C、Java、または単なる数学であるかどうかは気にしません。Matlab が読めない場合は、質問してください。明確にします。

Pagerankは、一連のページのノードグラフと、それぞれの内向きおよび外向きのリンクによって形成される有向エッジで機能します。したがって、特定のページのランクは、ノードグラフで広く局所的に誘発される効果です。

一方、SVDは値のマトリックス全体で機能し、方向性はありません。サイトAとサイトBの間のリンクは、正しいマトリックス要素で1としてのみ登録されます。これはグローバルシステムであるため、ランキングはグローバルな効果です。

Webから派生したマトリックスが極端にまばらであることを考えると、SVDは完全なデータセットを必要とし、かなりのメモリ要件があるため、ここではパフォーマンスが悪いと予想されます。

本当？Pagerankは主にノードグラフベースのアルゴリズムであるためSVDを上回っていますか？Pagerankは、単語が言及された回数を超えて、ページから意味的関連性をどのように推測できますか？それとも、Pagerankがページをランク付けした後に実行される2番目のステップでしょうか？

以前に質問しましたが、duffymoがはっきりしないと言ったので、ここでもう一度投稿します。SVD計算にJamaapiを使用しています。私はジャマとSVDについてよく知っています。列が行より多い場合、Jamaは機能しません。私はこのような状況にあります。私は何をすべきか？？何か助けはありますか？間違った結果を生成する可能性があるため、行列も転置できません。ありがとう。

PS：私はジャマの助けを借りてLSIを計算しています。私はcolumn（docs）とrows（terms）のようになります

非常に大きな行列に対するC#でのSVDのスケーラブルな実装を知っている人はいますか?

編集：私はワードリストのサイズが私が書き留めたよりも10-20倍大きいです。ゼロを忘れただけです。

EDIT2：SVDLIBCを調べて、マトリックスを高密度バージョンに縮小する方法も見ていきます。これも役立つかもしれません。

品詞タグ付けとステミングからの出力として巨大なcsvファイルを生成しました。次のようになります。

これには、各人の単語数が含まれています。このように、私は一人一人の特徴的なベクトルを取得しています。

この獣でSVDを実行したいのですが、マトリックスが大きすぎてメモリに保持できず、操作を実行できないようです。私の質問は：

• たとえば、列の合計が1である単語を削除して、列のサイズを小さくする必要があります。これは、それらが1回だけ使用されたことを意味します。この試みでデータにバイアスをかけすぎていませんか？

• csvをdbにロードして、rapidminerの試行を試みました。そして、rapidminerが提案するように、処理のためにバッチで順次読み取ります。しかし、Mysqlはその数の列をテーブルに格納できません。データを転置してから、インポート時に再転置すると、時間がかかります。

->ですから、一般的に、私はそのようなコーパスでsvdを実行する方法についてアドバイスを求めています。

Ax = 0の形式の方程式のセットを解こうとしています。Aは6x6行列として知られており、ある程度機能するベクトルxを取得するためにSVDを使用して以下のコードを記述しました。答えはほぼ正しいですが、私には十分ではありません。計算の精度を向上させるにはどうすればよいですか？epsを1.e-4未満に下げると、関数が失敗します。

Pythonで疎行列に対してsvd操作を実行する方法を知っている人はいますか? scipy.sparse.linalg にはそのような機能は提供されていないようです。