google-analytics - Google Experiments が優れているかどうか？

Question

今日、Google アナリティクスで奇妙なことに遭遇しました。私の実験の 1 つは、オリジナルよりも 94.7% 優れ、オリジナルよりも 52% 優れたパフォーマンスを発揮する確率で終了しましたが、ステータスは「勝者が見つかりませんでした」のままです。

誰かがこの状況に遭遇しましたか？なぜそうなのですか？

Answer 1

これは、コントロールよりも優れたバージョンはあるものの、95% の信頼区間に到達するほどには勝っていないことを意味します。つまり、勝者はいますが、統計的に有意ではないか、このテストの結果がランダムである可能性があります。

インプレッション数とコンバージョン数を確認しないと、より具体的に判断するのは困難です。私の推測では、このテストの変換率が非常に低いか、勝者バージョンの改善量が非常に小さいか、またはその両方であると思われます。

続行する方法にはいくつかのオプションがあります。

1. コントロールと最強のバリアントのみを使用してテストを繰り返します。2 つのバージョンのみでテストを繰り返すことで、テストが重要になる可能性があります。
2. 最も強力なバリアントを実装し、テストする別のものを見つけます。これはおそらく私が選ぶものです。コンバージョン率に最も大きな影響を与えるページ要素を特定するのが理想的です。

いずれにせよ、私は現在のテストを終了します。この時点で、それを長く実行しても何も得られません。