2

100 種類の T シャツのデザインを販売する単純な e コマース サイトがあるとします。売上を最適化するために a/b テストを実施したいと考えています。2 つの異なる「購入」ボタンをテストしたいとしましょう。通常、私は AB テストを使用して、各訪問者にボタン A またはボタン B を表示するようにランダムに割り当てます (そして、その割り当てをセッション、Cookie などに保存することによって、ユーザー エクスペリエンスが一貫していることを確認しようとします)。

別のアプローチを採用する代わりに、100 個のデザインのそれぞれにボタン A または B を使用するようにランダムに割り当て、コンバージョン率を(デザイン n の販売数) / (デザイン n のページビュー)として測定することは可能でしょうか?

このアプローチにはいくつかの利点があるようです。ユーザー エクスペリエンスの一貫性を維持することについて心配する必要はありません。特定のページ (例: www.example.com/viewdesign?id=6) は常に同じ html を返します。さまざまな価格をテストした場合、さまざまなコンピューターで同じデザインのさまざまな価格を確認するよりも、さまざまなデザインでさまざまな価格を確認した方が、ユーザーにとって苦痛ははるかに少ないでしょう。また、SEO の観点からも優れているのではないかと考えています。Google は、ページをクロールするときに常に同じ html を表示することを「好む」のではないかと考えています。

明らかに、このアプローチは限られた数のサイトにのみ適しています。誰かがそれを試したのだろうかと思っていましたか？

4

4 に答える 4

1

あなたの直感は正しいです。理論的には、ページごとのランダム化は問題なく機能します。両方の治療グループは、バランスの取れた特性を期待しています。

ただし、サンプルサイズが非常に小さいため、注意が必要です。単純なランダム化では、たまたま不均衡が生じる可能性があります。標準的な解決策は、シャツの前処理特性をブロックすることです。最も重要な特性は、治療前の結果であり、コンバージョン率であると思います。

「バランスのとれた」ランダム化されたデザインを作成する方法はたくさんあります。たとえば、最適なマッチングを使用してペアを作成し、ペア内でランダム化できます。前の週/月のコンバージョン率でページをランク付けし、隣接するペアを作成することで、より大まかな一致を見つけることができます。または、アーロンの提案内でブロックされたランダム化を組み合わせることができます。ペア内でランダム化し、毎週治療を反転させます。

2 つ目の懸念事項は、やや関連性がありませんが、治療間の相互作用です。これはより問題になる可能性があります。ユーザーが 1 つのページに 1 つのボタンを表示し、次に別のページに別のボタンを表示した場合、その新しいボタンが特に大きな影響を与える可能性があります。つまり、治療を独立したものと本当に見なすことができますか? あるページのボタンは別のページのコンバージョンの可能性に影響しますか? 残念なことに、特に 1 つのページで T シャツを購入した場合、別のページで T シャツを購入する可能性は非常に低いため、おそらくそうです。ランダム化よりもこれについて心配します。標準的なアプローチ (一意のユーザーごとにランダム化する) は、最終的なデザインをよりよく模倣します。

これら 2 つの方法を使用して同じ結果が得られるかどうかを確認する実験をいつでも実行できます。

于 2010-04-06T14:26:29.677 に答える
0

あなたのアプローチの問題点は、2 つのことを同時にテストしていることです。

たとえば、デザイン x はボタン a を使用しています。デザイン y はボタン b を使用しています。Design y はより多くの売り上げとより多くのコンバージョンを獲得します。

それは、ボタン b がボタン a よりもコンバージョン率が高いからですか、それともデザイン y がデザイン x よりもコンバージョン率が高いからですか?

デザインのボリュームが非常に多く、ユーザーのボリュームが非常に少なく、コンバージョンがデザイン間で均等に分散されている場合、「良い」デザインがまとまるリスクがあるため、通常の方法よりもアプローチが優れていることがわかります。結果をゆがめることは、「良い」ユーザーが行うリスクよりも小さくなります。ただし、その場合、結論を導き出すための特に大きなサンプル サイズのコンバージョンは得られません。そもそも AB テストが価値があるためには、十分な数のユーザーが必要です。

于 2010-04-06T09:30:47.910 に答える
0

できません。

50 枚の T シャツにボタン A を付け、残りの 50 枚にボタン B を付けます。テストの結果、ボタン A の付いた T シャツの方がコンバージョン率が高いことがわかりました。

では、ボタン A のおかげで変換がうまくいったのでしょうか、それとも T シャツのデザインが本当にかっこよくて人々が気に入ったからでしょうか?

その質問に客観的に答えることはできないため、この方法で A/B テストを行うことはできません。

于 2010-04-06T09:29:53.240 に答える
0

一部のページの販売ボタンを変更する代わりに、すべてのページをボタン A で 1 週間実行してから、ボタン B に変更してさらに 1 週​​間実行します。これにより、2 つのボタン間で販売数が大幅に変化するかどうかを確認するのに十分なデータが得られます。

季節や天候の影響を受けないように、1 週間は十分に短くする必要があります。

于 2010-04-06T09:35:38.153 に答える