0

10,000 個の期限切れのクライアント メール アドレスがあります。メンバーシップに再度参加するための割引を記載したメールを送信したいと考えています。

コンバージョン率を上げるためにA/Bテストをしたい。

統計的有意性を計算するツールを見つけました。例: https://vwo.com/ab-split-test-significance-calculator/

これには、変数としてメールの数があります。

事前にテストをセットアップする場合、各テストで送信する電子メールの数を知るにはどうすればよいですか?

実行できるテストの数には制限があります (最大 10,000)。そのため、すべてのテストを何年もの間実行させることはできません。それが完了すると、大部分が完了します。コンバージョンを最大化する必要があります。

それぞれ 100 ユーザーのテストを 10 回行うとします (2,000 ユーザーの分割テストとして)。

1 つの A/B テストを実行し、1 つ以上のコンバージョンが得られたが、統計的に有意ではない場合、より大きなコンバージョン項目を取り、少なくとも同じくらい良いと仮定して先に進むことはできますか?

各テストの前にテスト期間を設定する必要があることを読みました-場所は覚えていません-。では、100 通のメールを修正した場合 (統計的に有意ではない場合)、無視するだけでよいでしょうか? より良い変換アイテムを選択することの害は何ですか? (おそらく、100 個の項目の後、統計的に有意でない場合、とにかく大したことではありません)?

どうも

4

2 に答える 2

2

有意性について理解しておくべきことは、それがサンプルのサイズと差の両方の関数であるということです。差が大きいほど、単なる偶然によるものである可能性は低くなります。有意性 (アルファ) と強さ (ベータ) を試して、データセットでどのような確率がサポートされているかを確認する以外に、質的アプローチに精通していません。最終的に、アルファ 70% でテストを呼び出すかどうかは、ユーザーが決定します。(おそらく emial には問題ありません。)

于 2016-01-12T19:01:07.350 に答える
1

[コメントのサイズ制限に遭遇]

300 という数字は、最初から妥当な数に思えます。ここを見て: これは、コントロール (黒) と 2 つのバリアント (赤と緑) を使用した実験をシミュレートします。95% の有意性と 90% の強度でこのシミュレーションを実行しました。実線はテスト統計の累積率 (この場合は次のページへの変換率)、太い破線はサンプルのサイズ、細い破線はサンプルのサイズであり、観察される差が生じるので、時間の経過とともに、はるかに重要です。ご覧のとおり、最初は、コントロールとバリアントの測定値の差は、サンプル サイズが小さいために変化し、それに応じて有意なサンプル サイズも変化します。ただし、メジャーが安定し始めると、重要なサンプル サイズも安定します。ある時点で、重要なサンプル サイズが実際のサンプル サイズを超え、それ以下にとどまります。これが、選択した有意性と強度のレベルのテストを安全に呼び出すことができるポイントです。赤のバリアントは、コントロールよりも大きな劣化を示し (0.1 から ~0.06、つまり ~40% の低下)、その結果、そのサンプル サイズは 250 試行未満で有意に達します (赤い点線の交点にある赤い点)。緑色のバリアントはその半分の低下を示し、1100 までのはるかに大きなサンプル サイズが必要です (緑色の点線の交点にある緑色の点)。お役に立てれば！緑色のバリアントはその半分の低下を示し、1100 までのはるかに大きなサンプル サイズが必要です (緑色の点線の交点にある緑色の点)。お役に立てれば！緑色のバリアントはその半分の低下を示し、1100 までのはるかに大きなサンプル サイズが必要です (緑色の点線の交点にある緑色の点)。お役に立てれば！

于 2016-01-13T20:00:02.787 に答える