自分で使用するために、python/django 分割テストまたは a/b テスト ライブラリを作成しています。ただし、テストが統計的に有意かどうかを計算する方法がわかりません。私は統計の知識がないので、ほとんどのウィキペディアの記事やこのトピックに関する Web ページを理解できません。そのため、仲間のプログラマーの助けを求めています。
4 つのオプションを使用した簡単な実験があり、それを使用しているユーザーのデータがいくつかあります。各ユーザーは 4 つのオプションのいずれかになります (引数のために、コントロールの最初のオプションを呼び出すことができます)。各ユーザーは成功または失敗のいずれかだったので、各オプションのコンバージョン率がわかります。テストが統計的に有意かどうか、またはすべてランダムかどうかを判断するにはどうすればよいですか。
基本的に、私の入力は であり[ (a_yes, a_total), (b_yes, b_total), (c_yes, c_total), (d_yes, d_total)]、各オプションのコンバージョン率を把握するのは簡単です。各オプションが a と比較してどれだけうまくいったとしても、その統計的有意性を把握するにはどうすればよいので、このテストが教えてくれるかどうかを知ることができます。または、引き続き実行してさらにデータを収集する必要があるかどうか。
オプションが 2 つしかない場合 (従来の a/b テスト) に数式を使用するためのガイドを見たことがありますが、このライブラリで複数のオプションを処理できるようにしたいと考えています。複数の値で統計的有意性を計算することさえ可能ですか?
基本的に、私はこのhttp://mixpanel.com/labs/split-test-calculatorに似た何かをしようとしていますが、Python で。「pip install …」するだけのpythonライブラリがあればボーナスポイント