recommendation-engine - Netflix賞はなぜそれほど難しいのですか?

Question

Wired の最近の記事を読んだばかりで、興味があります: Netflix Prize の何がそんなに難しいのですか? 私はこれを可能な限り誠実な方法で意味します.コンテストによってもたらされる困難について私はただ興味があります. 一般的に、ほとんどのレコメンデーション エンジンはこれほど改善が難しいのでしょうか? もしそうなら、それはなぜですか？あるいは、Netflix は改善するのが非常に難しいのでしょうか? もしそうなら、Netflix の何が特別で、これが Amazon よりもはるかに難しいのでしょうか?

Answer 1

レコメンダー システムには、修正が難しい問題があります。

• コールド スタート- 新しいシステムまたは新しいユーザーでは、レコメンデーションの正確な統計モデルを作成するのに十分なデータがありません。
• 評価の偏り- ユーザーの評価に基づいてレコメンデーションを行うと、評価するユーザーは結果を自分の好みに左右することがよくあります。あなたが評価の余分なステップを好まないタイプの場合、好みが似ている人が評価を好まない可能性があるため、その意見は推奨から除外されます.
• 評価されていないアイテムは評価される可能性が低くなります。評価に基づいてアイテムを選択し、評価すると、評価されていないアイテムは目立たなくなり、レコメンデーションに影響を与えるために必要な評価を取得するのが難しくなります。逆に、人気のあるアイテムはより多くの可視性を持ち、より頻繁に評価されるため、レコメンデーションにおいてより大きな役割を果たします。
• 時間的バイアス- ユーザーの評価は時間とともに変化します。長期的な変更では、レコメンデーションに時間要素を追加することで補うことができます。短期的な変更は修正が困難です。チャック ノリスマラソンの後は、アクション映画に高い評価を与える可能性が高くなります。翌日、Steel Magnoliasに目をつぶった後、一時的にアクション映画に偏見を持っている可能性があります.
• さまざまな動機 -アイテムベースのレコメンデーション システムでは、叔母の誕生日に購入した編み物の本は、レコメンデーションをゆがめます (時間をかけてシステムに使用しないように指示しない場合)。あなたの子供たちがそれを愛していたので、悪い子供向けの映画に高い評価を与えるかもしれません.

これらすべてが合わさって、レコメンデーション システムを改善するのが難しくなっています。80% の精度を持つシステムは優れているように見えますが、5 回に 1 回は間違っています。これにより、一部のユーザーにとって価値がある以上に問題が発生します。

Answer 2

なぜなら、NetFlix にはすでに優れたレコメンデーション エンジンがあるからです。彼らがそれを簡単に改善する方法を知っていれば、彼らは今までにそうしていたでしょう. 彼らのビジネスモデル全体は、製品（映画）を消費者にクロスセリングすることです。レコメンデーション アルゴリズムは、まさに彼らのビジネスの中核です。うまく機能すればするほど、彼らはより多くのお金を稼ぐことができます。

Answer 3

私と私の同僚はそれに参加しました。私は AI に関する強いバックグラウンドを持っていませんが、レコメンデーション エンジンには、ギブス サンプリング、K メソッド、最近隣などの既存の文献アルゴリズムに関する深い知識が必要です。

Answer 4

これについてはいくつかの記事が書かれていると思いますが、現時点ではどこにあるのかわからないので、ここで説明します。

Amazon で本を購入する場合 (たとえば)、特定の種類の本を購入する傾向があるため、同じ種類の他の本を簡単に提案できます。

映画でも同じことをする人がいるかもしれませんが、人は通常、自分のジャンルを 1 つに限定しません。人々は、ホラー、コメディ、アクション、ロマンスなど、さまざまな映画を見ることができます。

これらのジャンルから好きなものを予測することは、これまでに 1 本の映画しかレンタルしたことがなく、その映画がドラマである場合、予測するのは難しい場合があります。

誰かが非常に賢いレコメンデーション エンジンを思いついた場合、Netflix は驚異的な利益を得ることができます。彼らは主に、1 つまたは 2 つの映画だけに基づいて物事をレコメンドできるエンジンを探していると思います。Netflix についてあまり知らない新規顧客は、検索せずに好きな映画を早い段階で見つけた場合、継続する可能性が高くなります。

私の意見では、彼らはすでに Amazon と同等のレコメンデーション エンジンを持っています。彼らはそれをさらに強化しようとしていると思います。