1

トップ 10 のニュース記事のリストを作成するニュース サイトを運営していて、アルゴリズムを微調整して、人々が新しいトップ ニュース ミックスをより適切に好むかどうかを確認したいと考えた場合、どのようにアプローチしますか?

投稿エントリに関連付けられた DB での単純なクリック ロギング?

A/B テストでは、あるバージョンのアルゴリズムをグループ A に、別のバージョンをグループ B に示し、クリック数を測定しますか?

変更がより優れているかどうかについて、どのような特徴に基づいて決定しますか?

4

2 に答える 2

1

A/B テストは良いスタートと思われ、参加者を無作為化します。両方が表示されないように、それらを覚えておく必要があります。

あなたはそれを行動心理学の実験のように扱うことができ、T-テストなどを行うことができます...

于 2008-09-16T01:11:38.430 に答える
1

クリック数を監視するだけでなく、クリックしたストーリーをどのくらいの時間閲覧しているかを監視することも役立つ場合があります。これはより複雑なデータですが、別のレベルの情報を提供します。選択したストーリーがユーザーの注意を引くかどうかだけでなく、ストーリーがそれを維持できるかどうかも確認できます。

統計分析 (つまり、Tim が提案したような T 検定) を行うことはできますが、有意性を証明するのに十分な標準偏差が得られない可能性があります。ただし、実際には問題にはなりません。必要なのは、いずれかのアルゴリズムの平均クリック数および/または費やされた時間が増加することだけです。うまくいけば、仮説検定でふざける必要はありません。

もちろん、レコメンデーションが適切かどうかを単純にユーザーに尋ねるオプションは常にありますが、それは状況によっては実行できない場合があります。

于 2008-09-17T02:27:29.847 に答える