問題タブ [abtest]

さまざまな A/B テストの統計分析を行って、どの代替案が優れているかを確認しようとしていますが、これについて矛盾する情報が見つかりました。

まず、私はいくつかの異なることに興味があります。

• コンバージョンや送信されたメールなどのイベントをカウントして成功を測定するテスト
• 収益をカウントして成功を測定するテスト
• 2 つの選択肢 (コントロールと新規) しかないテスト
• 複数の選択肢があるテスト (コントロールと複数の新規)

この分析を行うための簡単な式またはルールのセットを見つけたいと思っていましたが、答えよりも多くの質問を見つけました。

このサイトによると、複数の代替テストを比較することはできません。ペアごとの比較とカイ二乗分析のみを実行して、検定全体が統計的に有意かどうかを確認できます。

このサイトでは、A/B/C/D テスト (スライド 74 から開始) を行う方法を提案し、G-テスト (カイ 2 乗に関連していると述べています) を使用して結果を分析していますが、詳細については明確ではありません。ファッジファクターを使用します。また、A/B 比較で明確な勝者が得られるまで、A/B/C/D アプローチのみを使用して代替案を排除できることも示唆しています。

このサイトでは、A/B/C/D テスト (コントロールを含む) の例を示し、コンバージョン率を比較して勝者を決定する方法を示しています。このアプローチとは異なり、代替案を排除することはお勧めしませんが、すぐに勝者を選択します (統計的に有意な結果を想定)。

おそらく私は素朴ですが、今では統計分析ライブラリがこの問題に対処するために存在すると思います。これらの問題を解決するために必要なアルゴリズム/方程式についての詳細情報もいただければ幸いです。大学の統計の授業は久しぶりです。

Grails Web アプリケーションで A/B テスト用のコードを書き始めています。同じ IP アドレスからのリクエストには、常に同じバリエーションが表示されるようにしたいと考えています。IP->バリアントのマップを保存するのではなく、単に IP アドレスをドットを削除して整数に変換し、それを乱数ジェネレーターのシードとして使用しても問題ありませんか? Grails フィルターでは次のことが行われています。

IP アドレスでユーザーを識別するのは信頼できないことはわかっています。セッション変数/Cookie も使用しますが、これは、新しいセッションがあり、Cookie が設定されていない (またはユーザーが Cookie を持っている) 場合に役立つようです。無効）。

100 種類の T シャツのデザインを販売する単純な e コマース サイトがあるとします。売上を最適化するために a/b テストを実施したいと考えています。2 つの異なる「購入」ボタンをテストしたいとしましょう。通常、私は AB テストを使用して、各訪問者にボタン A またはボタン B を表示するようにランダムに割り当てます (そして、その割り当てをセッション、Cookie などに保存することによって、ユーザー エクスペリエンスが一貫していることを確認しようとします)。

別のアプローチを採用する代わりに、100 個のデザインのそれぞれにボタン A または B を使用するようにランダムに割り当て、コンバージョン率を(デザイン n の販売数) / (デザイン n のページビュー)として測定することは可能でしょうか?

このアプローチにはいくつかの利点があるようです。ユーザー エクスペリエンスの一貫性を維持することについて心配する必要はありません。特定のページ (例: www.example.com/viewdesign?id=6) は常に同じ html を返します。さまざまな価格をテストした場合、さまざまなコンピューターで同じデザインのさまざまな価格を確認するよりも、さまざまなデザインでさまざまな価格を確認した方が、ユーザーにとって苦痛ははるかに少ないでしょう。また、SEO の観点からも優れているのではないかと考えています。Google は、ページをクロールするときに常に同じ html を表示することを「好む」のではないかと考えています。

明らかに、このアプローチは限られた数のサイトにのみ適しています。誰かがそれを試したのだろうかと思っていましたか？

AppEngineで実行されているA/Bテストシステムの最も簡単な実装は何でしょうか？

私は特に、バックエンド（クエリ時間が長い）とデータベース設計にデータストアを使用することのパフォーマンスへの影響に熱心です。

現在、/ public_html /を指すmysite.com（A）と、そのために/ dev_html /を作成したdev.mysite.com（B）があります。サイトのクローンを作成しましたが、すべてのファイルをあるディレクトリから別のディレクトリにコピーしたり、サイトを停止したりせずに、それらを切り替える方法が必要です。ライブサイトをBに切り替えてからAで作業したいのですが、終了したらライブサイトをAに切り替えてBで作業します。簡単な方法はありますか？私はcPanelXとcPanel11（WHM VPS）を使用しています。また、両方が同じデータベースと対話できるため、データベース構造を変更しないため、問題にはなりません。切り替える必要があるのはphp/js/imgファイルのみです。

私たちの会社で採用されている現在の方法は、私たち全員が開発する長寿命のリリース ブランチを持つことです。開発者は、ab テスト コードのみがチェックインされる一方で、非 ab テスト コードはブランチとトランクの両方にチェックインします。ブランチ。次に、リリースすると、成功したテスト セルがトランクにマージされ、ab テスト コードの大部分が破棄されます。これはしばらくの間私たちにとってうまくいっていますが、新しいプロジェクトを開始しているので、この新しいプロジェクトでワークフローを改善できるかどうか疑問に思っています. 全員がブランチとトランクの両方にチェックインするのは面倒です。理想的には、トランクに対して開発を行い、安定化のために分岐するという、より標準的なアプローチが必要ですが、これは ab テスト コードでトランクを汚染することを意味します。

Rails 3で動作するABingoやVanityのようなものはありますか? Google ウェブサイト オプティマイザーとビジュアル ウェブサイト オプティマイザーがあることは知っていますが、何が表示され、何が追跡されるかを判断するには、それらが提供できる以上の能力が必要です。そうでない場合は、Rails 3 準拠に簡単に変換できる比較的単純なフレームワークについても考えます。

私は Play フレームワークにかなり慣れていません。Web ソリューション用の単純なスプリットテスト フレームワークを作成したいのですが、作成方法がよくわかりません。私はほとんどすべてのドキュメントを読みましたが、特に関連するものは見当たりませんでした。

スプリットテストについての私の考えは、明らかに、ユーザーにさまざまな異なるページをヒットさせ、ユーザーがそれぞれのページでどのようにやり取りしているかの統計を保持することです。

詳細な回答は必要ありません。ほとんどの場合、Play でどのように実行できるかについての指針とアイデアだけです。

読んでくれてありがとう。

私たちのサイトで27個のボタンをテストして、どれが最も高いコンバージョン率をもたらすかを知ることを計画しています。このバリエーションが多すぎると正確な結果が得られるかどうかはわかりません。正確な結果を出すための理想的なバリエーションの数を知っている人はいますか？

Android アプリで購入するために、Google Play の開発者コンソールで複数の製品を作成しようとしています。これらの製品は、エンド ユーザーに対して同じ名前/説明 (ただし、sku は異なる) になります。

目標は、さまざまな価格帯で A/B スタイルのテストを実行して、製品の価格設定を調整できるようにすることです...

元。

ユーザーが異なるテスト グループに分かれている場合、各グループには異なる製品が表示されます (したがって、各グループには「My Cool Product」が表示されますが、グループによって価格が異なります)。

Google の IAB は、「英語 (米国) (en_US) のタイトルは既に 'pa' によって使用されています。

A/B テストはサイト運営の要なので、適切な A/B テストを許可するための回避策を持っている人はいますか?