Soru:
Bayesian AB testi
Bi-Gnomial
2011-09-01 05:11:38 UTC
view on stackexchange narkive permalink

Ayda yalnızca 5 bin ziyaret alan bir sayfada AB Testi çalıştırıyorum. Test ve kontrol arasındaki +% -1'lik bir farkı ölçmek için gerekli trafik düzeylerine ulaşmak çok uzun sürer. Testin daha iyi performans gösterip göstermediğini belirlemem için bana iyi bir şans vermek için Bayes istatistiklerini kullanabileceğimi duydum. Mevcut verilerimi analiz etmek için Bayesian istatistiklerini nasıl kullanabilirim?

  Visitors ConversionsControl 1345 1165Test A 961 298Test B 1274 438  
Bayes büyüsü ile örnek boyutu sınırlamalarını aşamazsınız.Verilerinizi toplayın.
üç yanıtlar:
#1
+10
Lenwood
2012-11-05 01:51:29 UTC
view on stackexchange narkive permalink

Aynı sorular üzerinde kendi yoluma çalışıyorum. Şimdi, bu soruyu sorduğunuzda mevcut olmayan birkaç yararlı makale var.


"Teori ve kodla Bayesian A / B testi", Antti Rasinen - Evan Haas'ın hazırladığı "A / B testi için Kesin Bayes Çıkarımı" başlıklı makale serisinin mantıksal sonucu (burada bölüm 1 ve bölüm2 kısmen kurtarıldı) a>).

Binom dağılımından önceki eşlenik beta dağılımıdır. Bu nedenle, bir varyant için dönüşüm oranının dağılımı beta dağılımıdır. $ Pr (A > B) $ 'ı sayısal veya tam olarak çözebilirsiniz. Yazar, "Şanslar Doktrinindeki Bir Sorunun Çözülmesine Yönelik Bir Deneme" Bayes'in kendisi tarafından yazılmış bir denemeye atıfta bulunuyor.


"Orantılı A / B Testing "by Ian Clarke - Yazar, beta dağıtımının Bayes çözümünün A / B testine nasıl uygulanacağını anlamanın anahtarı olduğunu açıklıyor. Ayrıca $ \ alpha $ ve $ için önceki değerleri belirlemek için Thompson Örneklemesinin kullanımını tartışıyor \ beta $ .


Cam Davidson Pilon'un "Bayesian Methods for Hackers" kitabından "Chapter 2: A little more on PyMC" - Bu Bayes yöntemlerini bir dizi uygulamada açıklayan bir iPython kitabıdır. Bölüm 2'nin yaklaşık yarısında (bölüm başlığı Örnek: Bayesian A / B testi ), yazar, A'nın B'den daha iyi (veya tam tersi) olasılığının nasıl hesaplanacağına ilişkin ayrıntılı bir açıklama sunar. pymc kitaplığı. Sonuçların grafiğini çizme de dahil olmak üzere tam python kodu verilmiştir.


Artık çevrimiçi olarak da bir dizi Bayes anlamlılık hesaplayıcısı bulunmaktadır:

(+1) çok teşekkür ederim, gerçekten çok yardımcı oldu
Makalelerdeki bilgilere genel bir bakış ekleyebilir misiniz, böylece insanlar onları takip etmek isteyip istemediklerini ve bağlantıların kesilmesi durumunda anlayabilir mi?Ayrıca bağlantıların kesilmesi durumunda tam alıntı yapabilir misiniz?
#2
+8
steffen
2011-09-01 13:00:04 UTC
view on stackexchange narkive permalink

Bir grubun gerçek bilinmeyen parametresinin başka bir grubun gerçek bilinmeyen parametresinden daha iyi olma olasılığını hesaplamak için, beta dağılımları ile temsil edilen her grubun güvenilir aralıklarının bir Monte-Carlo-Entegrasyonunu gerçekleştirebilirsiniz. Bu soruya benzer bir şey yaptım Bir sık ​​görüşmeci, denemeler = Ziyaretçiler ve başarılı denemeler = dönüşümler

> AMA: Bayes'in size nesnel "gerçeğe" değil, şimdiye kadar toplanan verilere bağlı olarak yalnızca öznel olasılıklar vereceğine dikkat edin. Bu, sık sık görüşenler (istatistiksel testler, p-değerleri vb. Kullanan) ve Bayesliler arasındaki felsefedeki farklılıktan kaynaklanmaktadır. Bu nedenle, istatistiksel prosedürler başarısız olduğunda Bayes'i kullanarak önemli bir fark tespit etmeyi bekleyemezsiniz.

Bunun neden önemli olduğunu anlamak için önce güven aralığı ile güvenilir aralık arasındaki farkı öğrenmeye yardımcı olabilir, çünkü yukarıda bahsedilen MC-Entegrasyonu "yalnızca" iki bağımsız güvenilir aralığı birbiriyle karşılaştırır.

Bu konuyla ilgili daha fazla ayrıntı için bkz. ör. şu sorular:

#3
  0
cbellei
2017-11-16 00:20:01 UTC
view on stackexchange narkive permalink

Bayesian A / B testi yapmak için çeşitli yaklaşımlar vardır.

Her şeyden önce, analitik bir yaklaşım mı (Lenwood'un bahsettiği gibi eşlenik dağılımları kullanarak) mı yoksa bir MCMC yaklaşımı mı kullanmak istediğinize karar vermelisiniz. Basit A ​​/ B denemeleri için, özellikle sizin durumunuz olan dönüşüm oranıyla ilgili olarak, gerçekten bir MCMC yaklaşımı kullanmaya gerek yoktur: sadece bir Beta dağıtımını önceden kullanın ve arka dağıtımınız da bir Beta dağıtımı olacaktır.

Ardından, hangi karar kuralının uygulanacağına karar vermelisiniz. Burada karar vermede iki ana yaklaşım var gibi görünüyor. İlki, Indiana Üniversitesi'nden John Kruschke tarafından yazılan bir makaleye dayanmaktadır (K. Kruschke, Bayesian Estimation Supersedes the t Test, Journal of Experimental Psychology: General, 142, 573 (2013).). Bu makalede kullanılan karar kuralı, Bölge Pratik Eşitlik (ROPE) kavramına dayanmaktadır.

Diğer bir olasılık, Beklenen Kayıp kavramını kullanmaktır. Chris Stucchio (C. Stucchio, Bayesian A / B Testing at VWO) tarafından önerilmiştir.

Prensip olarak, farklı bir karar kuralı kullanabilirsiniz.

Bunu ve daha fazlasını şu blog gönderisinde bulabilirsiniz: Bayesian A / B Testi: adım adım açıklamalı bir kılavuz. Ayrıca bazı Python kod parçacıkları içerir ve Github'da barındırılan bir Python projesi kullanır.



Bu Soru-Cevap, otomatik olarak İngilizce dilinden çevrilmiştir.Orijinal içerik, dağıtıldığı cc by-sa 3.0 lisansı için teşekkür ettiğimiz stackexchange'ta mevcuttur.
Loading...