問題タブ [ab-testing]

Google ウェブサイト オプティマイザーを使用して A/B テストを実行しています。私が追跡しているいくつかの変換があります。

1. 購入する。
2. Facebookでいいね。
3. ツイッターでフォロー中。

最初のコンバージョンは簡単に追跡できます。Web サイトに「ご購入いただきありがとうございます」というページがあり、その URL をコンバージョン URL として使用するだけです。

残りの 2 つの項目は、私には少しわかりにくいものです。

Facebook の例を使ってみましょう。そこから学べることは、Twitter やその他のソーシャル ネットワークにも適用できます。Facebook [1] によると、次のコードを使用して、誰かがページを気に入ったかどうかを追跡できます。

これは、「ソーシャル エンゲージメント」を追跡するのに役立つと思います。ただし、これをユーザーがその時点で使用している特定の A/B テストに関連付ける必要があります。

現在 Google は、リンクのクリックを A/B テストでコンバージョンとして追跡する方法も示しています [2]。これは役に立ちそうです：

これを作成するために、このコードを使用しました。このコードは、ユーザーが [いいね] ボタンをクリックしたときにトリガーされるイベントにフックします。まず、Google アナリティクスの初期化コードで次のようにします。

次に、これは私のページ固有の Web サイト オプティマイザー コードです。

だから私の質問はこれです：

私は正しい軌道に乗っていますか？手順を見逃していませんか? Google アナリティクス内で目標も設定する必要がありますか? ヘルプ？

• [1] http://code.google.com/apis/analytics/docs/tracking/gaTrackingSocial.html
• [2] http://www.google.com/support/websiteoptimizer/bin/answer.py?answer=93181

自分で使用するために、python/django 分割テストまたは a/b テスト ライブラリを作成しています。ただし、テストが統計的に有意かどうかを計算する方法がわかりません。私は統計の知識がないので、ほとんどのウィキペディアの記事やこのトピックに関する Web ページを理解できません。そのため、仲間のプログラマーの助けを求めています。

4 つのオプションを使用した簡単な実験があり、それを使用しているユーザーのデータがいくつかあります。各ユーザーは 4 つのオプションのいずれかになります (引数のために、コントロールの最初のオプションを呼び出すことができます)。各ユーザーは成功または失敗のいずれかだったので、各オプションのコンバージョン率がわかります。テストが統計的に有意かどうか、またはすべてランダムかどうかを判断するにはどうすればよいですか。

基本的に、私の入力は であり[ (a_yes, a_total), (b_yes, b_total), (c_yes, c_total), (d_yes, d_total)]、各オプションのコンバージョン率を把握するのは簡単です。各オプションが a と比較してどれだけうまくいったとしても、その統計的有意性を把握するにはどうすればよいので、このテストが教えてくれるかどうかを知ることができます。または、引き続き実行してさらにデータを収集する必要があるかどうか。

オプションが 2 つしかない場合 (従来の a/b テスト) に数式を使用するためのガイドを見たことがありますが、このライブラリで複数のオプションを処理できるようにしたいと考えています。複数の値で統計的有意性を計算することさえ可能ですか?

基本的に、私はこのhttp://mixpanel.com/labs/split-test-calculatorに似た何かをしようとしていますが、Python で。「pip install …」するだけのpythonライブラリがあればボーナスポイント

3 つ以上の実験を含むパーセンテージ メトリックには、どの有意性検定を使用する必要がありますか?

例えば、

バージョン A が実際に他の 2 つよりも優れていると確信できるでしょうか?

私は Play フレームワークにかなり慣れていません。Web ソリューション用の単純なスプリットテスト フレームワークを作成したいのですが、作成方法がよくわかりません。私はほとんどすべてのドキュメントを読みましたが、特に関連するものは見当たりませんでした。

スプリットテストについての私の考えは、明らかに、ユーザーにさまざまな異なるページをヒットさせ、ユーザーがそれぞれのページでどのようにやり取りしているかの統計を保持することです。

詳細な回答は必要ありません。ほとんどの場合、Play でどのように実行できるかについての指針とアイデアだけです。

読んでくれてありがとう。

ユーザーに一連の製品が表示され、好きな製品を選択することで興味を示す Web ページがあります。

このページの 2 つのバージョンをテストするために、AB 実験を実行しています。各バージョンは、異なる製品セットを示しています。この実験でテストしている指標は、ユーザーが選択した製品の数です。

私が AB テストで見つけたすべてのリソースは、X 回の試行があり、それらの試行から Y 回のコンバージョンが発生する「試行とコンバージョン」モデルを想定していました。このモデルでは、Y <= X です。

私の場合、ページのインプレッションは X = # で、そのページで選択された製品は Y = # で、場合によっては Y > X です。この場合、どのバージョンのパフォーマンスが優れているかを判断するにはどうすればよいですか?

私は Web 会社で働いており、2 つの異なるデザインをテストするメインの Web ページの 1 つで A/B テストを行う予定です。A/B は 2 つの異なるデザイン アプローチを検討します: 異なるアイコン、色、スキームなど、およびレイアウトのわずかな変更です。主な変更点はデザインです (CSS で変更します)。

A/B テストの実行方法を知っていると仮定します。

私の質問は、CSS ファイルをどのように処理するかです。

私のメインCSSは、次のファイルにあります。generalStyles.css.

というファイルを作成する必要がありますgeneralStyles_B.cssか? それはそのファイルの複製でしょうか、generalStyles.cssそれともそのファイルに追加されて、私が変更している CSS ルールを「実行」するだけでしょうか?

Bオプションを選択することにした場合、複製によりgeneralStyles_Bを簡単に使用できるようになります。しかし、コードを簡単に維持するには、複製は間違っているようです。

ありがとう、アロン

ユーザーのサブグループ向けに新しいことを試したり、さまざまなアプリの動作で A/B テストを行ったり、通常はサンドボックスを提供したりするために、エンジニアが実験的なコードと機能をアプリに投入できる簡単なメカニズムをセットアップしたいと考えています。開発者がメインの本番コードに影響を与えずに夢中になれる環境。実験的機能 (EF) の要件の一部は次のとおりです。

• Rails、JS/Coffee、およびアプリの基本的な知識があれば、EF の追加は非常に簡単です。
• EF コードは、可能な限り製品コードの外 (「島」) に置く必要があります。
• EF コードは、がんの触手を製品コードにまで成長させてはなりません。つまり、可能な限り疎結合のままにしてください。
• 何が EF コードで何がそうでないかは一目で明らかなはずです。
• EF コードは、TDD や UX などの完全な組織ポリシーを支持する必要はありません。実際、迅速で汚い実験がこれの目標であり、プロセスとポリシーによって創造性と熱意が妨げられることは望ましくありません。実験が (ユーザー テストを通じて) 成功したと見なされた場合にのみ、それをすべてのポリシーに反映させるために労力を費やす必要があります。
• EF 機能は、ダッシュボード サイトでオン/オフを切り替えたり、特定のユーザーにロールアウトしたりできます。
• 実稼働コードに取り組んでいる開発者は、実験的なコードを処理するためにいかなる方法でも負担を負うべきではありません。理想的には、完全な分離です。実稼働コードが更新された場合、実験は壊れる可能性があります。実稼働コードの開発者にすべての実験を最新の状態に保つように強制するよりも、それが望ましいです。実験を続けられるかどうかは、実験者次第です。
• 私たちのシステムは、サーバー用の Rails 上に構築されており、Knockout.js と Backbone.js を使用して CoffeeScript で記述されたリッチなクライアント側アプリを備えています。EF は、Rails コード (コントローラー アクション、ルート、モデル)、ビュー テンプレート、CoffeeScript コード (データ バインディング、jQuery テンプレート、モデル、ビュー モデルなど)、CSS/SCSS に触れることができ、メカニズムはこれらすべてをサンドボックス化できるようにする必要があります。

分割テストや多変量テストの測定プロセスについては、現時点ではそれほど心配していません。これは、Vanity gem などのツールや、KissMetrics や MixPanel などの商用ソリューションで解決済みの問題です。私たちは、分離、マージ、およびメンテナンスの問題を解決するセットアップを作成する方法に関心があります。Rails用のそのようなツールは存在しますか?

レールにスプリットジェムを使用しています。使用法は非常に簡単です：

some_signin_view_file.erb：

および
some_post_signin_controller_file.rb：

問題なく1つの簡単なテストを行いました。ただし、2番目のテストでは、未完成のカラムで負の数が得られ、最初の実験（コントロールとしてマークされている）でのみ得られます。

どうしてネガティブになりますか...？私は何かが足りないのですか？

TIA

単純なA/Bテストの結果を考えると...

（つまり、A 4％とB 3％の会話率）

... Rでのフィッシャーの直接確率検定では、有意差はないと言っています

しかし、たとえば0.05のp値に到達するためにサンプルサイズをどれだけ増やす必要があるかを示すために、Rで使用できる関数は何ですか？

到達するまでA値を（それらの比率で）増やすことができますが、もっと良い方法が必要ですか？おそらく、pwr.2p2n.test [1]はどういうわけか使用可能ですか？

[1] http://rss.acs.unt.edu/Rdoc/library/pwr/html/pwr.2p2n.test.html

mongoidをサポートするgema/ bテストはありますか？

分割を見たことがありますが、mongoidをサポートしているかどうかはわかりません。

ありがとうございました！