2

Google Web Optimizerで A/B テストを実行してから 6 週間が経ちましたが、まだ終わりが見えません。グーグルはまだ、「重要な結果を示すのに十分なデータをまだ収集していません。より多くのデータを収集すれば、勝者の組み合わせを示すことができるはずです」と言っています。

Google が決定にどれだけ近づいているかを知る方法はありますか? （「信頼性の高い勝者」がいるかどうかを判断するためにどのアルゴリズムを使用するか知っている人はいますか？）

Google のヘルプ ドキュメントによると、次のようになります。

信頼性の高いレベルに到達できるようにするために、より多くのデータが必要な場合があります。テストされた組み合わせは、そのパフォーマンスを確実に判断するために、通常約 200 回の変換が必要です。

しかし、私たちのすべてのコンバージョンには、現時点で 200 を超える会話があります。

230 / 4061 (オリジナル)
223 / 3937 (バリエーション 1)
205 / 3984 (バリエーション 2)
205 / 4007 (バリエーション 3)

どれくらい長く実行する必要がありますか??

助けてくれてありがとう。

4

1 に答える 1

2

グーグルが決心するのにどれだけ近いかを知る方法はありますか？

GWO計算機を使用すると、提供したいくつかの仮定に基づいて、テストにかかる時間を決定できます。ただし、テストの組み合わせに大きな違いがない可能性があることに注意してください。その場合、勝者を見つけることができないため、どちらが最適かを確認するためのテストには無限の時間がかかります。

（「信頼性の高い勝者」がいるかどうかを判断するためにどのアルゴリズムを使用するかを知っている人はいますか？）

これは謎ですが、すべてではないにしてもほとんどの統計的検定には、偶然だけで観察された結果と同じくらい極端な結果が得られる確率である、いわゆるp値があります。GWOテストは、p値があるしきい値（おそらく5％）を超えるまで実行されます。より明確にするために、GWOテストは、組み合わせが元の組み合わせよりも大幅に良くなるまで実行され、結果が偶然に発生する可能性は5％にすぎません。

あなたのテストでは、重要な勝者はいないようです、それは引き分けです。

于 2010-06-13T09:00:09.213 に答える