optimizely - 信頼性を最適化

Question

Optimizely の使用を開始し、その結果に感銘を受けたため、積極的なキャンペーンの作成を開始しました。しかし、その後、何かがおかしいことに気付きました。

たとえば、青色の CTA の代わりにホームページでテストを行い、緑色の CTA を使用してバリエーションを作成したところ、バリエーションでコンバージョンが 35% 増加しました。そこで、切り替えて、緑の CTA をコントロール、青の CTA をバリエーションとして設定しました。緑の CTA の方が優れているというのが本当なら、青の CTA のバリエーションでコンバージョンが 35% 減少するはずです。代わりに、バリエーションはより高いコンバージョン率で戻ってきました.

何が間違っているのか特定することはできませんが、一般的にはすべてのバリエーションがコントロールよりも成功率が高くなりますが、状況を変えてバリエーションをコントロールとして設定すると、結果は切り替わりません.

Answer 1

試してみてください: 結果ページで異なるセグメントを適用して、各バリエーションの改善を特定します 90% の統計的有意性を設定することをお勧めします季節性、

Answer 2

すでに実施されているテストにこれらの調整を行っていますか? テストを開始すると、ユーザーはバケット化されることに注意してください。そのため、テストの実行後または実行中に、コントロールに属するユーザーを切り替えるなどの調整を行っても、いわば最初からやり直すことにはなりません。説明した調整を行っている場合は、新しい実験を作成する必要があります。