0

Google Experiments を使用して A/B テストを実装しました。ただし、A/B テストを一定期間開始したくないため、B バリアントを表示する日付駆動条件を設定しました。好奇心から、B バリアントが公開される前にとにかく実験を開始しました。したがって、実験の開始時に、Google Experiments はパターンを選択し(A または B、以下のコードを参照)、選択されたパターンに関係なく、パターン A を表示します(まだ稼働日を迎えていないため)。 )。これにより、デッド ヒートになると予想していた A/A テストが効果的に行われます。この段階では、各バリアントにまったく同じページ要素を表示していることを Google は知りません。

ただし、次の結果が得られます (セッションごとのページ ビューを表示)。 ここに画像の説明を入力

上の画像は、B バリアントが公開された日までの結果を示しています。ページ ビューにはある程度の自然な変動があると予想していましたが、変動 B が一貫して優勢であり、この時点で変動 A と同じページを表示しているため、何かがおかしいように見えます。私が間違っているかもしれないアイデアはありますか?

使用するコードは次のとおりです。

      <script type="text/javascript" 
              src="//www.google-analytics.com/cx/api.js?experiment=MY_EXPERIMENT_ID"><!-- --></script>

      <script>
            function enableVariationB(shouldEnable) {
                var enableExperimentDate = new Date(2015, 6, 10);    
                var today = new Date();

                if (today < enableExperimentDate || shouldEnable) {
                    $('#variation_B').show();
                } else {
                    $('#variation_B').hide();
                }
            }

            //Call to Google Experiments to return 1 or 2 depending on 
            //which variation is to be shown to the user
            var chosenVariation = cxApi.chooseVariation();

            var pageVariations = [
                      function() {  
                          enableVariationB(true);  
                      }, 
                      function() {
                          enableVariationB(false);    
                      }
            ];

            $(document).ready(
                 pageVariations[chosenVariation]
            );
     </script>
4

1 に答える 1