問題タブ [ab-testing]

私は A/B テストを行っていますが、結果 (日対月対テストの合計時間) でシンプソンのパラドックスに直面しています。

1. 私の a/b テストが正しくない/代表的ではないということですか? (何らかの外的要因がテストに影響を与えましたか?)
2. それが問題の兆候である場合、従うべき指示は何ですか?

大変お世話になりました。

さらに読む: http://en.wikipedia.org/wiki/Simpson%27s_paradox

A/B 分割テストを提供するフレームワークがあります。

ページの「チャンピオン」バージョンがあり、そのページの「チャレンジャー」バージョンを開発しています。

次に、Web サイトを実行し、一部のユーザーをチャンピオンに割り当て、一部のユーザーをチャレンジャーに割り当て、それぞれの反応を測定します。

メトリクスの達成においてチャレンジャーがチャンピオンよりも優れている場合、チャンピオンを退位させ、新しいチャレンジャーを開発します...

私の質問は、バージョンを割り当てるためにどのメカニズムを考慮する必要がありますか?

いくつかのオプションが思い浮かびます。

• 奇数または偶数の IP アドレス (またはサブセグメント)****.****.****.123がチャンピオンになるが.124、チャレンジャーになる
• cookie プッシュ - チャンピオン/チャレンジャー cookie を確認します。存在しない場合は、ランダムにユーザーを 1 つに割り当てて cookie をプッシュします

ベストプラクティス？提案？コメント？経験？

A/B テストを行おうとしていますが、この目的のために Nginx を使用しています。私の Nginx 設定ファイルは次のようになります。

これは機能していますが、css および js ファイルはロードされません。この構成ファイルの何が問題なのか、またはそれを行う正しい方法は何か教えてもらえますか?

ありがとう、

アレックス

Google のウェブサイト オプティマイザーを使用して、サイトのホームページで a/b テストを行おうとしています。私の質問は次のとおりです: Google のスパイダーがインデックスに登録する代替ページはどれですか? それらのすべて？GoogleまたはGWOページでこれに関する情報を見つけることができませんでした.

ページ上のさまざまなレイアウトをテストして、どれがより多くのコンバージョンを獲得するかを確認する方法を作成したいと思います。

例えば。ページに2つのバージョンがあり、50％をページAに送信し、50％をページBに送信して、どちらがより多くの売上を変換するかを確認する場合。

したがって、.htaccessを使用して、半分をページAに、残りの半分をページBに書き換えることを考えています。

しかし、どうすれば.htaccessでそれを行うことができますか？これを行うには、代わりにPHPを使用する必要がありますか？

また、これを行うためのより良い方法がある場合、または私が知っておくべき注意事項がある場合は、私に知らせてください。

Google Web Optimizerで A/B テストを実行してから 6 週間が経ちましたが、まだ終わりが見えません。グーグルはまだ、「重要な結果を示すのに十分なデータをまだ収集していません。より多くのデータを収集すれば、勝者の組み合わせを示すことができるはずです」と言っています。

Google が決定にどれだけ近づいているかを知る方法はありますか? （「信頼性の高い勝者」がいるかどうかを判断するためにどのアルゴリズムを使用するか知っている人はいますか？）

Google のヘルプ ドキュメントによると、次のようになります。

信頼性の高いレベルに到達できるようにするために、より多くのデータが必要な場合があります。テストされた組み合わせは、そのパフォーマンスを確実に判断するために、通常約 200 回の変換が必要です。

しかし、私たちのすべてのコンバージョンには、現時点で 200 を超える会話があります。

230 / 4061 (オリジナル)
223 / 3937 (バリエーション 1)
205 / 3984 (バリエーション 2)
205 / 4007 (バリエーション 3)

どれくらい長く実行する必要がありますか??

助けてくれてありがとう。

RailsにはいくつかのA/B分割テストモジュール/プラグインがあります。
http://github.com/paulmars/seven_minute_abshttp://www.bingocardcreator.com/abingohttp://vanity.labnotes.org/など 。
_

Pythonに似たものはありますか？

以前、 Google の Web Optimizerに最適な組み合わせが表示されるまでにかかる時間を尋ねたことがありますが、A/B テスト中に別の奇妙な問題が発生しました。

過去 2 日間、Google は、元のバリエーションを27.4%上回る可能性が98.5%の「信頼度の高い勝者」が存在すると発表しました。すごい！

念のために実行しておくことにしましたが、奇妙なことが起こりました。今日、Google は「重要な結果を示すのに十分なデータをまだ収集していない」と言っています (以下を参照)。確かに数値はわずかに変化していますが、依然として非常に高い値です: 96.6%の確率で元の数値を22%上回っています。

では、なぜ今 Google はそれほど確信を持っていないのでしょうか?

統計的に有意な「信頼度の高い」勝者から、勝者を計算するのに十分なデータが得られない状況に陥ったのはどうしてでしょうか? 私の数値が小さすぎて、Google が確実に判断できないのでしょうか?

洞察をありがとう！

私は新しいプロジェクトの作業を開始しようとしていますが、新しい PHP CMS を検討し始めるのに良い時期かもしれないと考えました。私は本当に Joomla に多くの時間を費やしただけなので、「新しい」はほとんど「任意」です。

とにかく、私は A/B テストについての話もたくさん見てきたので、試してみるのは良い考えだと思いました. 私が見たところ、Rails にはいくつかのソリューションがありますが、PHP CMS をサポートするソリューションがあるかどうか疑問に思っていました。より統合されているほど良い。

提案や考えをありがとう...

Google ウェブサイト オプティマイザーの A/B 分割テストを使用する場合、Cookie を読み取ってユーザーが取得したバージョン A または B を確認する方法はありますか? コントロールページ以外のページからこれを知る必要があります。