ab-testing - A/B テスト後にモデルを測定する方法は?

Question

私は何年も機能しているシステムに取り組んでおり、今ではレコメンデーション エンジンを追加することにしました。A/Bテストを行った後、モデルを決定します。では、このモデルのパフォーマンスを測定する方法はありますか?

Answer 1

目標指標は実験の設計の問題であり、通常、この質問にあなた以上に答えられる人はいません。通常、エンゲージメントを測定する方法が必要です。これにはすぐに反映されるものもありますが、効果の一部は登録されるまでに時間がかかる場合があります。たとえば、ユーザーがあなたのおすすめを覚えていたが、しばらくしてから戻ってきた場合などです。推奨アイテムのクリックなどの即時の影響は、現在のユーザー エクスペリエンスの時間枠内で発生するため、簡単に記録できます。潜在的なアクションを少し前に発生した推奨事項に関連付ける方法が必要になるため、長期的な影響を記録するのは困難です。