問題タブ [scipy]

scipyを使用して行列の数学的ランクを計算したいと思います。最も明白な関数numpy.rankは、配列の次元を計算します（つまり、スカラーの次元は0、ベクトル1、行列2などです）。モジュールにこの機能があることは知っていnumpy.linalg.lstsqますが、そのような基本的な操作がどこかのマトリックスクラスに組み込まれているのではないかと思いました。

明示的な例を次に示します。

これは2、私がの答えを探している次元を与え3ます。

NumPy配列が[1,2,3,4,5,6,7,8,9,10,11,12,13,14]あり、のような構造の配列が必要です[[1,2,3,4], [2,3,4,5], [3,4,5,6], ..., [11,12,13,14]]。

確かに、これは大きな配列をループし、長さ4の配列を新しい配列に追加することで可能ですが、これを実行する秘密の「魔法の」Pythonメソッドがあるかどうか興味があります:)

このコード スニペットの何が問題になっていますか?

何か案は？

だから、私は非常にまばらなnumpy配列を使用していくつかのKmeans分類を行っています-たくさんのゼロ。ストレージのオーバーヘッドを削減するために scipy の「スパース」パッケージを使用すると考えましたが、行列ではなく配列を作成する方法について少し混乱しています。

スパース行列の作成方法に関するこのチュートリアルを実行しました: http://www.scipy.org/SciPy_Tutorial#head-c60163f2fd2bab79edd94be43682414f18b90df7

配列を模倣するために、1xN 行列を作成するだけですが、ご想像のとおり、2 つの 1xN 行列を掛けることができないため、Asp.dot(Bsp) はまったく機能しません。各配列を Nx1 に転置する必要がありますが、内積計算ごとにこれを行うことになるため、これはかなり不自由です。

次に、列 1 == 行 1 の NxN 行列を作成しようとしました (2 つの行列を乗算して、左上隅を内積として取得できるようにするため)。

numpy の array() の代わりに scipy の sparse パッケージを魔法のように使いたいと思っていますが、どうすればよいかわかりません。

何かアドバイス？

1) scipy の hcluster モジュールを使用しています。

したがって、私が制御できる変数はしきい値変数です。しきい値ごとのパフォーマンスを知るにはどうすればよいですか? つまり、Kmeans では、このパフォーマンスは重心へのすべてのポイントの合計になります。もちろん、これは調整する必要があります。一般に、クラスターが多いほど距離が短くなるからです。

このために hcluster でできることはありますか?

2) fclusterdata で使用できるメトリクスがたくさんあることを認識しています。重要な用語の tf-idf に基づいてテキスト ドキュメントをクラスタリングしています。取り決めは、一部のドキュメントは他のドキュメントよりも長いということです。コサインは、この長さの問題を「正規化」する良い方法だと思います。なぜなら、ドキュメントが長くなればなるほど、n 次元フィールドの「方向」は同じままであるべきだからです。内容は一貫しています。誰かが提案できる他の方法はありますか？どのように評価できますか？

どうも

scipy と numpy をコンパイルするときに、sunperf ライブラリを使用したいと考えています。SUNPERF ライブラリからチェックしているように見える setupscons.py を使用してみましたが、私の場所が認識されませんでした: ここに /pkg/linux/SS12/sunstudio12.1 のリストがあります (sunperf ライブラリが存在する場所):

このディレクトリを sites.cfg で指定しようとしましたが、それでも次のエラーが発生します。

どんな助けでも大歓迎です

scipyライブラリのcsr_matrixにはnonzero（）メソッドがありますが、行と列の配列を持つタプルを返す必要があるマニュアルによると、csr行列にその関数を使用しようとするとエラーが発生します。この問題に関するアイデアはありますか？

よろしく、Umut

小数点以下 4 桁までの浮動小数点数を含む入力ファイルがあります。

(最初は ID です)。私のクラスでは、 loadVectorsFromFile10000 を掛けてからint()これらの数値を掛ける方法を使用しています。さらに、各ベクトルをループして、内部に負の値がないようにします。ただし、 を実行する_hclusteringと、継続的にエラー"LinkageZが表示されますcontains negative values"。

次の理由から、これはバグだと真剣に考えています。

1. 自分の価値観を調べてみた
2. 値は、浮動小数点数の限界に近づくのに十分小さいか、または十分大きい場所ではありません。
3. ファイル内の値を導出するために使用した式は、絶対値を使用します (私の入力は間違いなく正しいです)。

この奇妙なエラーが表示される理由を教えてもらえますか? この負の距離誤差の原因は何ですか?

=====

インストールドキュメントatlas3.6.0_WinNT_P4SSE2.zipにリンクされているビルド済みのATLASライブラリ（）でビルドされたnumpy-1.3.0を使用して、WindowsでSciPy 0.7.1をコンパイルしようとした人はいますか？

次のリンカ エラーが表示されますが、この問題を解決する方法がわかりません。

ここで何がうまくいかなかったのか誰か知っていますか？ATL_daxpyたとえば、libf77blas.a で を検索すると、次のようになります。

ありますが_ATL_daxpy、ありませんATL_daxpy。

ランダムなコイントスの結果に応じて、文字列からランダムな開始位置をサンプリングする必要があるという問題があります。このランダムな位置のサンプリングが文字列全体で均一である場合、それを行うための 2 つのアプローチを考えました。これを次のようにテストしました。

出力は次のとおりです。

多項式にかかった時間: 6.58072400093 秒 ランドにかかった時間: 2.35189199448 秒

randint の方が速いようですが、それでも私には非常に遅いようです。numpy または scipy を使用して、これをより高速にするためのベクトル化された方法はありますか?

ありがとう。