Google Experiments を使用して A/B テストを実装しました。ただし、A/B テストを一定期間開始したくないため、B バリアントを表示する日付駆動条件を設定しました。好奇心から、B バリアントが公開される前にとにかく実験を開始しました。したがって、実験の開始時に、Google Experiments はパターンを選択し(A または B、以下のコードを参照)、選択されたパターンに関係なく、パターン A を表示します(まだ稼働日を迎えていないため)。 )。これにより、デッド ヒートになると予想していた A/A テストが効果的に行われます。この段階では、各バリアントにまったく同じページ要素を表示していることを Google は知りません。
ただし、次の結果が得られます (セッションごとのページ ビューを表示)。
上の画像は、B バリアントが公開された日までの結果を示しています。ページ ビューにはある程度の自然な変動があると予想していましたが、変動 B が一貫して優勢であり、この時点で変動 A と同じページを表示しているため、何かがおかしいように見えます。私が間違っているかもしれないアイデアはありますか?
使用するコードは次のとおりです。
<script type="text/javascript"
src="//www.google-analytics.com/cx/api.js?experiment=MY_EXPERIMENT_ID"><!-- --></script>
<script>
function enableVariationB(shouldEnable) {
var enableExperimentDate = new Date(2015, 6, 10);
var today = new Date();
if (today < enableExperimentDate || shouldEnable) {
$('#variation_B').show();
} else {
$('#variation_B').hide();
}
}
//Call to Google Experiments to return 1 or 2 depending on
//which variation is to be shown to the user
var chosenVariation = cxApi.chooseVariation();
var pageVariations = [
function() {
enableVariationB(true);
},
function() {
enableVariationB(false);
}
];
$(document).ready(
pageVariations[chosenVariation]
);
</script>