問題タブ [recommendation-engine]

さまざまなアイテムをユーザーの好みに合わせて推薦するというコンセプトで構築されたウェブサイトをデザイン中です。（つまり、評価したアイテム、お気に入りリストに追加されたアイテムなど）この例としては、Amazon、Movielens、Netflixなどがあります。

さて、私の問題は、このシステムの数学的部分に関してどこから始めればよいかわからないということです。私は必要な数学を学びたいと思っています、それは私がどんな種類の数学が必要かわからないだけです。

Grouplens.orgにあるいくつかの出版物、特に「スケーラブルなkNN CFアルゴリズムに向けて：クラスタリングの効果的なアプリケーションの調査」を見てきました。（pdf）5ページ「予測生成」まですべてを理解するのはかなり得意です

ps何が起こっているのかについての説明を正確に探しているわけではありませんが、それは役立つかもしれませんが、私が知る必要のある数学にもっと興味があります。このようにして、私は何が起こっているのかを理解することができます。

レコメンデーション システムの構築を試してみたいと思います。これは、ユーザーが投稿した設定やレビューを見て、netflix や amazon が使用するものと同様に、それらのレコメンデーションを作成するアルゴリズムを意味します。

このようなものを書く方法を学ぶための良いリソースは何ですか? どこから始めればよいですか？

利用可能なオープンソースの推奨エンジンがあるかどうか疑問に思っていましたか? Amazon や Netflix のようなものを提案する必要があります。Apache Mahout - Tasteというフレームワークについて聞いたことがあります。来週試しています。貴重な思いを共有できれば幸いです。

私は「集合知プログラミング」という本を読んでいて、学んだことをノースウィンドデータベースに適用しようとしています。提示されたアルゴリズムについての理解にはまだ自信がありませんが、一般的な概念については理解し始めています。

Northwindデータベースを使用して、次の疑似ロジックを使用して「これを購入した顧客もXYZを購入した」リストを表示しようとしています。

1. 私の商品を購入した他の顧客を探す
2. それらの顧客が購入した他のすべてのアイテムを検索する
3. 購入数に基づいてアイテムをランク付けする
4. 前のステップから上位N個のアイテムを返す

私は以下のクエリを使用しています：

次のステップは、クエリを分割して、（過去のすべての購入ではなく）最近の購入に基づいてフィルタリングし、製品を購入したすべての顧客ではなく、N人の顧客に一致する顧客を制限できるようにすることだと思います。誰かがポインタを提供できますか？私は正しい方向に向かっていますか？まったく別の方向に進むべきですか？

現時点では、アルゴリズムを最大限に活用する経験がまだないことを知っているので、私の目標は精度よりもパフォーマンスです。私は単にその概念を適用しようとしているだけです。十分に理解できたら、より現実的な顧客データを使用して、このクエリをより大きなデータベースに対してテストする予定です。

協調フィルタリングを使用してレコメンデーション エンジンを構築しています。類似性スコアには、ピアソン相関を使用します。ほとんどの場合、これは素晴らしいことですが、1 つまたは 2 つのフィールドしか共有しないユーザーがいる場合もあります。例えば：

これは 2 つのデータ ポイントのみであるため、ピアソン相関は常に 1 (直線または完全な相関) になります。これは明らかに私が望んでいるものではないので、代わりにどの値を使用する必要がありますか? このようにすべてのインスタンスを破棄することもできますが (相関を 0 にします)、私のデータは現在非常にまばらであり、何も失いたくありません。残りの類似性スコア (すべてピアソン) に適合する、使用できる類似性スコアはありますか?

この新しいエンティティに関する情報が不足しているために、新しいユーザーまたはアイテムがシステムに入るときに推奨を行うことが問題になる「コールドスタート」問題を克服するための方法/アプローチは何ですか。

予測に基づいた推奨（性別、国籍など）を行うことを考えることができます。

Amazonには「この商品を購入したお客様は、この商品も購入しています」があります。

これを作ったショッピングカートに入れたいと思っています。

データベースにはどのフィールドが必要ですか? このためのウェブサイト、ブログ、またはリソースはありますか?

メカニズムをどのようにコーディングすればよいか教えてください。

レコメンデーションと協調フィルタリングを実装するために、Ruby on Rails のプロジェクトで Apache Mahout を使用したいと考えています。特に私の要件は次のとおりです。

1. 関連するタグを提案します。
2. 関連記事の提案。
3. ユーザーの好みに基づいて、記事のレビューを促します。
4. 地理的な場所やユーザーの他のメタ情報に基づいて、類似のユーザーを提案します。

レールと簡単に統合でき、私の要件を満たす場合は、他のソリューション (mahout 以外) を使用することにオープンです。

今はスロープワンをオススメで使っています。

訪問したアイテムを結果から除外する方法は?

not in (visited_id_list)古いユーザーのスケーラビリティの問題があるため、訪問したものをフィルタリングするだけではできません!

なしで解決策を思いつきましたnot in：</p>

すべてのユーザーが閲覧した製品のデータベースがあり、同様のユーザーが閲覧したものに基づいて製品を推奨したいと考えています。これを実現できる Python ライブラリはありますか? Netflix の品質の結果は必要ありません。関心がある可能性が高い製品だけが必要です。何か案は？