以前、 Google の Web Optimizerに最適な組み合わせが表示されるまでにかかる時間を尋ねたことがありますが、A/B テスト中に別の奇妙な問題が発生しました。
過去 2 日間、Google は、元のバリエーションを27.4%上回る可能性が98.5%の「信頼度の高い勝者」が存在すると発表しました。すごい！
念のために実行しておくことにしましたが、奇妙なことが起こりました。今日、Google は「重要な結果を示すのに十分なデータをまだ収集していない」と言っています (以下を参照)。確かに数値はわずかに変化していますが、依然として非常に高い値です: 96.6%の確率で元の数値を22%上回っています。
では、なぜ今 Google はそれほど確信を持っていないのでしょうか?
統計的に有意な「信頼度の高い」勝者から、勝者を計算するのに十分なデータが得られない状況に陥ったのはどうしてでしょうか? 私の数値が小さすぎて、Google が確実に判断できないのでしょうか?
洞察をありがとう！
統計的に有意な「信頼度の高い」勝者から、勝者を計算するのに十分なデータが得られない状況に陥ったのはどうしてでしょうか?
すべての統計テストには、 p 値と呼ばれるものがあります。これは、テストされているものの間に違いがないことを前提として、観察された結果がランダムに得られる確率です。したがって、テストを実行するときは、結果に自信を持てるように p 値を小さくする必要があります。
したがって、GWO では 1.5% から 3.4% の間の p 値が必要です (この場合は少なくとも 2.5% だと思いますが、組み合わせの数に依存する可能性があります)。
したがって、(100% - 勝つ確率 %) > p 値の場合、GWO は十分な情報を収集していないと判断し、組み合わせが (100% - 勝つ確率 %) < p 値の場合、勝者となります。見つかった。明らかに、その線を越えた場合は、もう少しデータがあれば簡単に元に戻すことができます.
要約すると、結果を頻繁にチェックするべきではありません。テストをセットアップし、しばらく無視してから結果をチェックする必要があります。
私の数値が小さすぎて、Google が確実に判断できないのでしょうか?
いいえ