python - カニ: カニの UserBasedRecommender が遅いのはなぜですか?

Question

カニのベンチマークは (http://www.slideshare.net/marcelcaraciolo/crab-a-python-framework-for-building-recommender-systems page-37) です。

ベンチマーク Pure Python w/ Python w/ Scipy Dataset dicts and NumpyMovieLens 100k 15.32 s 9.56 s http://www.grouplens.org/node/73 Old Crab New Crab

ただし、私の場合、30分以上かかる必要があります。理由はわかりません

私のコードは

model = MatrixPreferenceDataModel(recommend_data.data)
similarity = UserSimilarity(model, pearson_correlation)
recommender = UserBasedRecommender(model, similarity, with_preference=True)
recommender.recommend("6")

私のデータは NumpyMovieLens 100k で、これには 1700 本の映画に関する 1000 人のユーザーからの 100,000 の評価が含まれています。

Answer 1

1 年ちょっと前に Crab を最後に見たときは、密な配列を使用していましたが、疎な行列(例: scipy.sparse) を使用する必要がありました。そのため、メモリを大量に消費するだけでなく、非常に遅くなりました。ちらっと見たところ、Crab は 1 年近く更新されていないようで、状況はおそらく同じです。