問題タブ [pearson]

私は Mahout Apache を使用して、(ユーザーによる同様のアイテムの評価に基づいて) アイテム ベースのレコメンダーを作成しています。次の 2 つの類似性メトリックのどちらを使用するのが最適か疑問に思っていました。

ピアソン、スピアマン、ユークリッド、谷本、対数尤度

したがって、私は一般的にPythonに不慣れで、多くの記事を読んでいますが、 '#' の行を無視する方法がまだわかりません。

する必要がある：

1. この tsv ファイルの 4 つの列 (col2 ～ col5) を個別のリストにします。(データが不完全であるため、ハワイとの線を無視することをどのように選択したのでしょうか。したがって、49 のデータ ポイントを使用します。)

2. 次に、2 つのリストをパラメーターとして取り、ピアソン相関係数を返す関数 Pearson(X,Y) を定義します。X= [x1,x2,...,xn] および Y = [y1, y2,....,yn] とする。X と Y の間のピアソン相関係数は、次の式で与えられます。

r=(nΣxiyi -ΣxiΣyi)/((√(nΣxi^2-(Σxi^2)^2(nΣyi^2-(Σyi)^2))

関数を定義する際に、Σ 記号をどのように書き出すのでしょうか?

これは私がこれまでに持っているものです:

よし、みんな。私の教授は、Python3 でループの助けを借りずにこの機能を実行する方法があると言っています。私はそれを見ていません。彼女は、zip、enumerate、readlines、および split(";") を使用することを推奨しています (すべてのレビューの後には「;」が続きます。2 つ続けてある場合は、そのレビュー担当者がその映画をレビューしていないことを意味します)。私がやっていることは、リストのmovMatリストで比較映画を探して、映画を読んでいることです。次に、それらを一般的なレビュアーと比較します。その後、ピアソンの計算を取得する必要があります。これには、現在の映画の一般的なレビュアー、ターゲット映画の値 (比較映画) の取得、一般的なレビュアーの値の平均、標準偏差、最後にピアソン R の取得が含まれます。相関。

入力例は次のとおりです。

このプログラムの主要部分は、引数呼び出し、ファイル内の行などを処理しますが、コマンド ライン引数 '1' の入力に対するサンプル出力は、次のようにトイ ストーリーを呼び出し、データベース内の他の映画と比較します。

24000 * 316 numpy マトリックスがあり、各行は 316 時点の時系列を表し、これらの時系列の各ペア間のピアソン相関を計算しています。結果として、ピアソン値を持つ 24000 * 24000 numpy 行列が得られることを意味します。私の問題は、これには非常に長い時間がかかることです。小さな行列 (200 * 200) でパイプラインをテストしましたが、動作します (まだ遅いですが)。これほど遅いと予想されるかどうか疑問に思っています（1日以上かかります!!!）。そして、それについて私ができること...これが私のコードであるのに役立つなら...特別なことや難しいことは何もありません..

ありがとう

次のコードがあります。

2 つの行列の列のピアソン相関を計算します。これは私にとってはうまく機能し、結果は正しいです。ただし、プロセスは非常に遅いようです。ここで計算を高速化する方法を知っている人はいますか?

Rで実行中のウィンドウのスピアマン相関を計算したいと思います。これまでのところ、パッケージrunningから使用してきましたがgtools、ピアソン相関しか取得できませんでした。パラメータを変更しようとしましたfunが、エラー以外は何も生成できませんでした。

私の入力はdata.frameです：

など。これは、私が操作しようとした基本的な実行コマンドです。

2 番目の質問は、各「ウィンドウ」の pvalue を追加するにはどうすればよいですか?

ありがとう！