問題タブ [abtest]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
statistics - A/Bテスト分割機能
A/B テストを実行するために、ユーザーを複数のグループに分割したいと考えています。
通常のアプローチでは、各ユーザーをランダムにバリアントに割り当て、A/B テストが終了するまで関係を保存します。しかし、それは私がその関連付けをどこかに保存することを余儀なくされるので、私はそれを避けたい.
ユーザーは既にアプリケーションに登録されているため、A/B テストで偏りのない結果を取得できるように、テスト全体でユーザーを均一に分散する機能が必要です。
どの種類のハッシュ関数を使用すればよいですか?
web-applications - データベースに収集されたデータの A/B テスト
YESとボタンのある Web サイトがあるとしNOます。これで、YESクリック数とNOクリック数を 2 日間記録します。
A/B-testこのデータを取得したら、これらのデータを分析したいと思います。そこで、データを 50 対 50 に分割しました。1 つをコントロール データとして、もう 1 つをテスト データとして使用します。テスト データの場合、(2 日ではなく) 10 時間で [はい] と [いいえ] のクリック数をカウントします。
それは良い方法だと思いますA/B-testか？私の知る限り、機能がわずかに異なる2つのバージョンのWebサイトが必要ですが、私の場合、Webサイトはすべてのユーザーに対して同一であり、元のデータをいくつかの仮定で分割するだけです。正しくない場合は、記事または Web サイトを参照してください。
ab-testing - ウェブサイトのデザイン全体を A/B テストする方法
私たちは新しいウェブサイトのデザインを構築しており、100% カットオーバーするのではなく、徐々にテストできるように簡単にしたいと考えています。目標は、http://oursite.comにアクセスして「古い」Web サイトまたは新しい Web サイトを取得するユーザーを獲得することであり、新しいサイトを取得するユーザーの割合を 10%、50% などで制御できます。
ページの A/B テストには精通していますが、ウェブサイトのドメイン全体には精通していません。私たちは LAMP スタックを使用しているので、これは Apache VHosts で実行できますか? 本番環境では、クラウド ロード バランサーの背後で 2 つのクラウド サーバーを実行しています。新しいサイトは完全に svn ブランチに含まれており、現在の本番サイトは svn トランクを使い果たしています。
これをどのようにやってのけることができるかについての推奨事項はありますか?
ありがとうございます！
python - Python での収益に対する AB テストの実行
AB テストを実行しようとしています - Web サイトのバリアント間の収益を比較します。
私たちの標準的なアプローチ (t 検定を使用) は、収益を二項式でモデル化できないため、うまくいかないように思われました。ただし、ブートストラップについて読んで、次のコードを思いつきました。
基本的に、「収益ベクトル」（まばらに入力されたベクトル - コンバージョンに至っていないすべての訪問者はゼロ）からランダムにサンプリングし、正規分布が得られるまで結果のベクトルを合計します。
両方のテスト グループに対してこれを実行すると、t 検定用に 2 つの正規分布量が得られます。を使用scipy.stats.ttest_indすると、ある程度妥当に見える結果を得ることができました。
ただし、この手順を実行すると、Cookie の分割にどのような影響があるのだろうと思いました (各グループが Cookie の 50% を確認することを期待していました)。ここで、次のコードを考えると、かなり予想外のことがわかりました。
出力が得られます: (0.0021911476165975929, 0.99827342714956546)
まったく重要ではありません（正しく解釈していると思いますか？）
ただし、このコードを実行すると:
私が得る: 0.642213492773 0.490587258892
これらの数値の解釈方法がよくわかりません。私が知る限り、実際の Cookie 分割から正規分布を繰り返し生成しました (配列内の各数値は異なるサイトを表します)。これらのケースのそれぞれで、2 つの分布に対して t 検定を使用し、t 統計量と p 値を取得しました。
これは合法的な行為ですか？これらのテストを複数回実行しただけです。これを実行しないと、p 値と t 統計量に大きな変動が見られたからです。
この種のテストを実行する明らかな方法がありませんか?
乾杯、
マット
ps
私たちが持っているデータ: ウェブサイト 1: テスト グループ 1: 固有の Cookie: 収益 ウェブサイト 1: テスト グループ 2: 固有の Cookie: 収益 ウェブサイト 2: テスト グループ 1: 固有の Cookie: 収益 ウェブサイト 2: テスト グループ 2: 固有の Cookie: 収益 など
私たちが望むもの：
テスト グループ x はテスト グループ y を z% の確率で上回っています
(検定グループ 1 の帰無仮説 = 検定グループ 2)
ボーナス：
上記と同じですが、サイトごと、および全体的な基準で