問題タブ [ab-testing]

私は何ヶ月も良いテストフレームワークを探していましたが、何も見つかりませんでした.

これが私がやりたいことです:
- 任意の行動を追跡します (例: 表示された写真の数、投稿されたコメントの数)
- 任意の変数とそれらの行動の間の相関関係を追跡します
(たとえば、このプロンプトの異なるバージョンは、表示された写真の平均数にどのように影響しますか? )

この種のことは、アジャイル開発の中核部分であるべきです。そこには何がありますか？Google ウェブサイト オプティマイザーが答えの 1 つであることは知っていますが、1 つの「成功」ページで終わる行動しか追跡できません。

コード (私の場合は Rails) 内で動作し、きれいなグラフを備えた素敵なホストされたサービスにフィードできるプラグインがあれば素晴らしいと思います...

A/B 分割テストに関する情報:

• http://startuplessonslearned.blogspot.com/2008/09/one-line-split-test-or-how-to-ab-all.html
• http://www.37signals.com/svn/posts/1525-writing-decisions-headline-tests-on-the-highrise-signup-page

Rails アプリで、ビューに単純なcaseorifステートメントを使用してこれを行うこともできますが、それは多くの繰り返しになります。これをサポートする宝石はありますか？役立つ設計パターンはありますか？

レストランに関する情報を表示するサイトがあるとします。すべての URL は /restaurants/some-dynamic-restaurant-name/ のように名前が付けられます。例:/restaurants/somename 1 /、/restaurants/somename 2 / など... GWO を使用して IA/B テストまたは多変量テストを行うにはどうすればよいですか? 1 回の実験ですべてのレストランのページ

更新: Google ウェブサイト オプティマイザー フォーラムで質問を作成しました。これが返信です。

更新: http://www.google.com/support/websiteoptimizer/bin/answer.py?hl=en&answer=61201に従って、サンプル URL www.mysite.com/restaurants/dynamic_restaurant_name_here/ を取得しました。そのページには、レストラン名を表示する h1-header があります。GWOのルールに従って、それをセクションとして含めました。そして、h2、h3 を使用してそのバリエーションを作成しました。したがって、同じレストランの異なるユーザーの h2 ヘッダーまたは h3 ヘッダーを表示することになっています。

代わりに、他のすべてのレストラン ページでは、同じ (または 1 つだけの) レストラン名が表示されていました。しかし、あなたが提供したリンクは、同様のシナリオをテストできることを保証します (GWO リンク コンテンツの最初の数行を確認してください) が、それは起こりませんでした。そのため、動的なレストランのページごとに、さまざまなヘッダーを確認したいと考えています。可能ですか?どうすればいいですか?

更新:自分の質問に対する回答を投稿しました。しかし、それを行うより良い方法はありますか？

私の上司は、何らかの理由で JavaScript で A/B テスト (または分割テスト) を実装しようとしています。A/B テストを実装するための優れた JavaScript パッケージ/ライブラリ/ソリューションを知っている人はいますか?

asp.net mvcでABテストを実装するための最良かつ最もクリーンな方法は何ですか？つまり、asp.net mvc Webサイトに新しい変更を加える場合、訪問者の特定のサブセット（Cookie、ログインIDなどで定義）を使用して新しいhtml / css / jsをテストし、いくつかのメトリックを分析します（その後、ページの応答時間、アクセスしたページ数、売上高の$$$など）、変更の成功レベルを測定します。

asp.net mvcを使用してレンダリングするビュー（html / css / jsなど）を選択する方法を実装するためのクリーンな方法を探しています。

から: http://www.bingocardcreator.com/abingo/usage

ブロックで渡される「選択」は、何らかのリンクである必要がありますか? /ビンゴは、異なる選択肢がいつ変換されたかをどのように知るのですか?

さまざまな A/B テストの統計分析を行って、どの代替案が優れているかを確認しようとしていますが、これについて矛盾する情報が見つかりました。

まず、私はいくつかの異なることに興味があります。

• コンバージョンや送信されたメールなどのイベントをカウントして成功を測定するテスト
• 収益をカウントして成功を測定するテスト
• 2 つの選択肢 (コントロールと新規) しかないテスト
• 複数の選択肢があるテスト (コントロールと複数の新規)

この分析を行うための簡単な式またはルールのセットを見つけたいと思っていましたが、答えよりも多くの質問を見つけました。

このサイトによると、複数の代替テストを比較することはできません。ペアごとの比較とカイ二乗分析のみを実行して、検定全体が統計的に有意かどうかを確認できます。

このサイトでは、A/B/C/D テスト (スライド 74 から開始) を行う方法を提案し、G-テスト (カイ 2 乗に関連していると述べています) を使用して結果を分析していますが、詳細については明確ではありません。ファッジファクターを使用します。また、A/B 比較で明確な勝者が得られるまで、A/B/C/D アプローチのみを使用して代替案を排除できることも示唆しています。

このサイトでは、A/B/C/D テスト (コントロールを含む) の例を示し、コンバージョン率を比較して勝者を決定する方法を示しています。このアプローチとは異なり、代替案を排除することはお勧めしませんが、すぐに勝者を選択します (統計的に有意な結果を想定)。

おそらく私は素朴ですが、今では統計分析ライブラリがこの問題に対処するために存在すると思います。これらの問題を解決するために必要なアルゴリズム/方程式についての詳細情報もいただければ幸いです。大学の統計の授業は久しぶりです。

リッチクライアント（WinFormsまたはWPF）アプリケーションを使用して多くのA / Bテストを行った人はいますか？

このシナリオに適した展開戦略に興味があります。

ClickOnceの展開は適しているように見えますが、重要なアプリケーションでClickOnceを適切に機能させるには、非常に多くの手荷物があります。

ClickOnceを使用している場合、ユーザーの50％に変更をプッシュするにはどうすればよいですか？これは可能ですか、それとも基本的に2つの別々のアプリケーションをデプロイする必要がありますか？

Windowsインストーラーを使用している場合、テストシナリオごとに新しいインストーラーをプッシュするのは理にかなっていますか？これは、毎回アプリケーションを更新する必要があるエンドユーザーにとって厄介なように思われますか？クライアントPCにスタブだけをインストールし、利用可能な場合は更新を動的にダウンロードすることの大きな欠点はありますか？

私は A/B テストを行っていますが、結果 (日対月対テストの合計時間) でシンプソンのパラドックスに直面しています。

1. 私の a/b テストが正しくない/代表的ではないということですか? (何らかの外的要因がテストに影響を与えましたか?)
2. それが問題の兆候である場合、従うべき指示は何ですか?

大変お世話になりました。

さらに読む: http://en.wikipedia.org/wiki/Simpson%27s_paradox

A/B 分割テストを提供するフレームワークがあります。

ページの「チャンピオン」バージョンがあり、そのページの「チャレンジャー」バージョンを開発しています。

次に、Web サイトを実行し、一部のユーザーをチャンピオンに割り当て、一部のユーザーをチャレンジャーに割り当て、それぞれの反応を測定します。

メトリクスの達成においてチャレンジャーがチャンピオンよりも優れている場合、チャンピオンを退位させ、新しいチャレンジャーを開発します...

私の質問は、バージョンを割り当てるためにどのメカニズムを考慮する必要がありますか?

いくつかのオプションが思い浮かびます。

• 奇数または偶数の IP アドレス (またはサブセグメント)****.****.****.123がチャンピオンになるが.124、チャレンジャーになる
• cookie プッシュ - チャンピオン/チャレンジャー cookie を確認します。存在しない場合は、ランダムにユーザーを 1 つに割り当てて cookie をプッシュします

ベストプラクティス？提案？コメント？経験？