A/B Test Örneklem Büyüklüğü Hesaplayıcısı
Mevcut dönüşüm oranını, yakalamak istediğin en küçük artışı, gücü ve güven düzeyini gir, her varyantın ihtiyaç duyduğu örneklem büyüklüğünü gör.
Varyant başına gereken örneklem
31.234
Sayılar girilip Hesapla'ya basıldığında sonuç burada görünür.
Varyant başına örneklem = [z_güven × √(2 × p̄ × (1 − p̄)) + z_güç × √(p₁ × (1 − p₁) + p₂ × (1 − p₂))]² ÷ (p₂ − p₁)², p₁ = Mevcut oran, p₂ = Mevcut oran × (1 + Göreli etki), p̄ = (p₁ + p₂) ÷ 2
Örneklem büyüklüğü nasıl hesaplanır?
Varyant başına n = [z₁₋α/₂ × √(2 × p̄ × (1 − p̄)) + z₁₋β × √(p₁ × (1 − p₁) + p₂ × (1 − p₂))]² ÷ (p₂ − p₁)²
- Göreli MDE'yi varyantın beklenen oranına çevir: p₂ = p₁ × (1 + MDE). %5'lik bir oranda %10'luk MDE, p₁ = %5,0'dan p₂ = %5,5'e, yani 0,5 puanlık mutlak bir hareketi yakalamak demektir.
- z-değerlerini seç: %90, %95 ve %99 güven için (iki yönlü) 1,645, 1,96 ve 2,576, %80 ve %90 güç için 0,8416 ve 1,2816.
- Güven z-değerini "fark yok" varsayımındaki ortalama oranın, p̄ = (p₁ + p₂) ÷ 2, varyansıyla; güç z-değerini iki grubun kendi varyanslarıyla ağırlıklandır. İki terimi topla, toplamın karesini (p₂ − p₁)²'ye böl ve sonucu bir üst tam sayıya yuvarla.
[1,96 × √(2 × 0,0525 × 0,9475) + 0,8416 × √(0,05 × 0,95 + 0,055 × 0,945)]² ÷ 0,005² = (0,6182 + 0,2654)² ÷ 0,000025 = 31.233,77 varyant başına 31.234 ziyaretçi
Bu konuyu ayrıntılı anlatan rehber: A/B testi için örneklem büyüklüğü nasıl hesaplanır?
A/B testinde örneklem büyüklüğü nedir
Örneklem büyüklüğü (sample size), bir A/B testinde her varyantın, önemsediğin büyüklükteki bir artışı yakalama şansı makul olsun diye ulaşması gereken ziyaretçi sayısıdır. Bu örneklem büyüklüğü hesaplama aracı dört girdiden geriye doğru çalışır: mevcut dönüşüm oranı, minimum tespit edilebilir etki (MDE), istatistiksel güç ve güven düzeyi. Ziyaretçi sayısı az kalırsa gerçek bir iyileşme, veri onu gürültüden ayıramadığı için fark edilmeden geçebilir.
Hesap, iki oranı kıyaslamak için kullanılan standart güç formülüdür. NIST/SEMATECH İstatistik Yöntemleri e-El Kitabı, bir ortalamadaki δ kadarlık kaymayı yakalamak için gereken örneklemi (z₁₋α/₂ + z₁₋β)² × (σ/δ)² olarak verir. İki dönüşüm oranında her grubun kendi varyansı vardır: p × (1 − p). Bu hesaplayıcı güven terimi için ortalama oranın varyansını, güç terimi için kontrol ve varyantın kendi varyanslarını kullanır; yaygın iki oran hesaplayıcılarının kullandığı biçim budur. Mevcut oranın varyansını iki gruba birden koyan kısa yol daha küçük bir sayı verir, %10'luk göreli MDE'de yaklaşık %5, daha büyük artışlarda daha fazla eksik; test de seçtiğin güçten düşük kalır.
Bu hesaplayıcıda MDE göreli bir değerdir. 10 girmek, %10'luk göreli bir iyileşmeyi yakalamak demektir: %5'lik bir oranda bu, %5'ten %5,5'e, yani yalnızca yarım puanlık bir çıkıştır. %2'lik bir oranda yaklaşık %2,2, %40'ta yaklaşık %44 anlamına gelir. Göreli ve mutlak MDE ayrımı, iki aracın aynı girdilerle farklı sonuç vermesine yol açabilir. Başka bir araç çok farklı bir sayı veriyorsa, birinin yanlış olduğunu düşünmeden önce MDE'yi nasıl ele aldığını kontrol et.
Varyant başına örneklem: mevcut oran ve MDE'ye göre
Tablo, en doğrudan kontrol ettiğin iki girdinin sayıyı nasıl belirlediğini gösteriyor. Her hücre yukarıdaki formülle %95 güven ve %80 güç için hesaplandı ve varyant başına ziyaretçi sayısını veriyor. Satır boyunca okursan daha küçük artışların peşine düşmenin maliyetini, sütun boyunca okursan düşük bir dönüşüm oranının çıtayı nasıl yükselttiğini görürsün.
| Mevcut dönüşüm oranı | MDE %5 (göreli) | MDE %10 (göreli) | MDE %20 (göreli) |
|---|---|---|---|
| %1 | 637.017 | 163.097 | 42.694 |
| %2 | 315.210 | 80.683 | 21.109 |
| %5 | 122.125 | 31.234 | 8.158 |
| %10 | 57.764 | 14.751 | 3.841 |
| %20 | 25.583 | 6.510 | 1.683 |
MDE'yi yarıya indirmek örneklemi yaklaşık dört katına çıkarır, çünkü gereken örneklem etkinin karesiyle ters orantılıdır. Düşük bir mevcut oran da aynı yönde çalışır. %5 oran ve %10 MDE örneğinde gücü %80'den %90'a çıkarmak ihtiyacı varyant başına 31.234'den 41.815'e, güveni %95'ten %99'a çıkarmak ise 46.480'e taşır. MDE'yi kararını değiştirecek en küçük artışa göre belirle. Yalnızca sayıyı uygun göstermek için seçilen bir MDE, testi hâlâ önemli olabilecek daha küçük artışlar karşısında güçsüz bırakır.
Örneklem büyüklüğünden test süresine
Örneklem büyüklüğü, takvime çevrildiğinde bir plana dönüşür. Test süresi üç sayıdan çıkar:
Toplam örneklem: varyant başına sayıyı varyant sayısıyla çarp. Varyant başına 31.234 ziyaretçi isteyen iki varyantlı bir test toplam 62.468 ziyaretçi ister.
Günlük uygun trafik: yalnızca test edilen sayfaya ya da adıma gerçekten ulaşan ziyaretçileri say. Sitenin toplam trafiği bu sayıyı olduğundan büyük gösterir.
Tam haftalar: toplamı günlük trafiğe böl ve sonucu tam haftaya yuvarla, böylece hafta içi ve hafta sonu davranışı iki grupta da temsil edilir. Günde 4.000 uygun ziyaretçiyle örnek 16 gün sürer, bu da 21 güne yuvarlanır.
Süre birkaç ay çıkıyorsa planı test başlamadan değiştir: daha büyük etki beklenen daha cesur bir değişikliği test et, MDE'yi yükselt, %80 güçle yetin ya da testi huninin daha çok trafik alan bir adımına taşı. Trafiğin ve kaybın en büyük olduğu adımı çok adımlı huni analizi gösterir. Test bittiğinde sonucu A/B test anlamlılık hesaplayıcısı ile bir kez oku. Hipotezden yayına kadar sürecin geri kalanını A/B testi kapsamlı rehberi anlatıyor.
Örneklem büyüklüğü hesaplayıcısı ne zaman kullanılır
A/B test örneklem büyüklüğü hesabını testi başlatmadan önce yap. Böylece testin trafiğinde mümkün olup olmadığını görür ve bitiş noktasını önceden sabitlersin. Mevcut oranı, testin çalışacağı sayfa ya da adımdan, aynı kitleden ve normal bir dönemden al. Sezonluk bir zirveden ya da tek bir kampanyadan alınan oran tahmini güvenilmez kılar. Bu oranı dönüşüm oranı hesaplayıcısı ile ölçebilirsin.
Örneklem büyüklüğü tahmini nerede yanıltır
Tahmin, arkasındaki mevcut oran kadar sağlamdır. Test sırasında gerçek oran girdiğinden düşükse test yetersiz güçle biter. Formül 50/50 bölünme ve birbirinden bağımsız ziyaretçiler varsayar, bu yüzden dengesiz trafik dağılımı ya da iki kez sayılan geri dönen ziyaretçiler gösterilen sayıdan daha büyük bir örneklem gerektirir. Tek bir ana metrik için hesaplanan örneklem, çok daha az veri taşıyan ikincil metrikleri ve segmentleri kapsamaz.
Bu konuda rehberler
Sık Sorulan Sorular
A/B testi için kaç ziyaretçi gerekir?
Mevcut dönüşüm oranına, yakalamak istediğin en küçük artışa, güce ve güven düzeyine bağlıdır. %5'lik bir oran, %10'luk göreli MDE, %80 güç ve %95 güvenle formül varyant başına 31.234, iki varyantlı bir test için toplam 62.468 ziyaretçi verir. Daha yüksek bir oran ya da daha büyük bir MDE sayıyı düşürür, daha küçük bir MDE ise hızla yükseltir. Her teste uyan evrensel bir alt sınır yoktur. Sayıyı test başlamadan kendi sayfan için hesapla.
Minimum tespit edilebilir etki (MDE) nedir?
Minimum tespit edilebilir etki, testin seçilen güçle yakalamak üzere tasarlandığı en küçük gerçek artıştır. Bu hesaplayıcıda göreli bir değerdir: %5'lik bir oranda %10'luk MDE, oranın %5,5'e çıkması demektir. MDE'yi iş tarafından seç, yani değişikliği yayına almayı haklı çıkaracak en küçük iyileşme olarak belirle. Daha küçük bir MDE çok daha fazla trafik ister, yarıya indirmek örneklemi yaklaşık dört katına çıkarır. MDE'den küçük etkiler de gerçek olabilir, ama test onları çoğu zaman kaçırır.
%80 mi, %90 güç mü kullanmalıyım?
Trafiği sınırlı sayfalardaki rutin testlerde %80 yeterlidir. Gerçek bir etkiyi kaçırmanın pahalıya patlayacağı durumlarda, örneğin maliyetli bir yeniden tasarımdan önce, %90'ı kullan. %80 güç yaygın varsayılandır: gerçek artış MDE'ye eşitse test onu beş denemenin dördünde yakalar. %90 güç kaçırma oranını ona bire düşürür ama daha fazla ziyaretçi ister. %5 oran ve %10 MDE örneğinde ihtiyaç varyant başına 31.234'den 41.815'e, yani yaklaşık üçte bir oranında artar.
A/B testi ne kadar sürmeli?
Toplam örneklemi (varyant başına örneklem × varyant sayısı) test edilen sayfaya ulaşan günlük trafiğe böl ve sonucu tam haftaya yuvarla. Günde 4.000 uygun ziyaretçiyle, varyant başına 31.234 ziyaretçi isteyen iki varyantlı bir test yaklaşık 16 gün sürer, bu yüzden üç tam hafta planla. Tam haftalarla çalışmak, hafta içi ve hafta sonu davranışını iki grupta da tutar. Bitiş tarihini test başlamadan belirle ve sonuç iyi göründüğünde erken durma, çünkü bu yanlış pozitif oranını yükseltir.
Trafiğim bu örneklem büyüklüğüne yetmiyorsa ne yapmalıyım?
Dört seçeneğin var. MDE'yi yükselt ve yalnızca daha büyük artışların yakalanabileceğini kabul et. O büyüklükte bir artış üretebilecek daha cesur bir değişikliği test et. Testi daha çok trafik alan bir sayfaya ya da huninin daha erken bir adımına taşı. Ya da gücü veya güveni düşür ve gerçek bir etkiyi kaçırma ya da yanlış pozitif görme ihtimalinin arttığını kabul et. Testi uzatmak da işe yarar, ama çok uzun testler kitledeki mevsimsel değişimleri de içine alır. Gerekenden az ziyaretçiyle çalıştırıp sonucu yine de okuma.
İlgili hesaplayıcılar