A/B Test Anlamlılık Hesaplayıcısı
Kontrol ve varyantın ziyaretçi ve dönüşüm sayılarını gir, p-değerini, z-skorunu ve farkın %95 güvenle anlamlı olup olmadığını gör.
p-değeri
0,0768
Sayılar girilip Hesapla'ya basıldığında sonuç burada görünür.
z-skoru = (Varyant oranı − Kontrol oranı) ÷ Standart hata
A/B test anlamlılığı nasıl hesaplanır?
z = (p₂ − p₁) ÷ √[p̂ × (1 − p̂) × (1/n₁ + 1/n₂)], burada p̂ = (x₁ + x₂) ÷ (n₁ + n₂) ve p-değeri = 2 × (1 − Φ(|z|))
- Her grubun dönüşüm oranını bul: p₁ = kontrol dönüşümü ÷ kontrol ziyaretçisi ve p₂ = varyant dönüşümü ÷ varyant ziyaretçisi.
- İki grubu tek bir ortak orana topla (p̂ = toplam dönüşüm ÷ toplam ziyaretçi) ve bu oranla farkın standart hatasını hesapla.
- Oran farkını standart hataya bölerek z-skorunu bul, iki yönlü p-değerini standart normal dağılımdan oku. 0,05'in altındaki bir değer %95 güvenle anlamlı sayılır.
250 ÷ 5.000 = %5,00 ve 290 ÷ 5.000 = %5,80, ortak oran %5,40, standart hata ≈ 0,00452, z ≈ 1,77, p ≈ 0,0768 (%95 güvenle anlamlı çıkmaz)
Bu konuyu ayrıntılı anlatan rehber: A/B testinde istatistiksel anlamlılık ve p değeri
A/B testinde istatistiksel anlamlılık nedir
A/B testinde istatistiksel anlamlılık (statistical significance), kontrol ile varyant arasındaki farkın yalnızca rastgele atamayla açıklanamayacak kadar büyük olup olmadığını gösterir. Bu A/B test hesaplama aracı soruyu iki oranlı z-testi ile yanıtlar: iki dönüşüm oranını kıyaslar, aradaki farkı standart hata cinsinden ölçer (z-skoru) ve bunu bir p-değerine çevirir. p-değeri 0,05'in altındaysa sonuç, aracın kullandığı %95 güven düzeyinde anlamlıdır.
Test bir sıfır hipoteziyle başlar: iki sürümün gerçek dönüşüm oranı aynıdır ve gördüğün fark gürültüden ibarettir. p-değeri, bu hipotez doğru olsaydı en az senin gördüğün kadar büyük bir fark görme olasılığıdır. Yani bir varsayım altında veri hakkında bir ifadedir. Varyantın daha iyi olma olasılığını vermez ve etkinin ne kadar büyük olduğunu da söylemez.
Yöntem, NIST/SEMATECH İstatistik Yöntemleri e-El Kitabı'ndaki iki örneklemli oran testini izler. İki grubu birleştirerek sıfır hipotezi altındaki ortak oranı tahmin eder ve binom dağılımının normal yaklaşımına dayanır. Bu yaklaşım makul büyüklükte örneklem ister. Bu yüzden varyant başına 30 civarından az dönüşümle elde edilen bir sonucu, p-değeri 0,05'in altında olsa bile düşük güvenilirlikli say. Hipotezden yayına kadar testin bütün sürecini A/B testi kapsamlı rehberi anlatıyor.
Örneklem büyüklüğü p-değerini nasıl değiştirir
Aynı artış, arkasındaki trafiğe göre anlamlı da çıkabilir, anlamsız da. Tablo, örnekteki oranları sabit tutuyor (kontrolde %5,0, varyantta %5,8, yani %16'lık göreli artış) ve yalnızca varyant başına ziyaretçi sayısını değiştiriyor. Her satır yukarıdaki formülle hesaplandı.
| Varyant başına ziyaretçi | Dönüşüm (kontrol / varyant) | z-skoru | p-değeri | %95 güvenle anlamlı |
|---|---|---|---|---|
| 2.500 | 125 / 145 | 1,25 | 0,211 | Hayır |
| 5.000 | 250 / 290 | 1,77 | 0,0768 | Hayır |
| 10.000 | 500 / 580 | 2,50 | 0,0123 | Evet |
| 20.000 | 1.000 / 1.160 | 3,54 | 0,0004 | Evet |
Satırlar arasında varyantta hiçbir şey değişmedi, yalnızca kanıt büyüdü. Küçük bir testte anlamlı çıkmayan bir sonucun etki olmadığını kanıtlamaması bundan kaynaklanır. Ziyaretçi sayısını test başlamadan A/B test örneklem büyüklüğü hesaplayıcısı ile belirlemen de bu yüzden önemlidir. Tersi de geçerlidir: yeterince büyük bir örneklem, ticari açıdan önemsiz küçük bir artışı da anlamlı gösterebilir. Bu yüzden p-değerini mutlak ve göreli artışla birlikte oku.
Tablo, istatistiksel ve pratik anlamlılık ayrımının neden önemli olduğunu da gösterir. İstatistiksel anlamlılık farkın rastlantıdan büyük olup olmadığını sorar. Pratik anlamlılık ise geliştirme maliyeti, bakım ve risk hesaba katıldığında farkın yayına almaya değip değmediğini sorar. İkincisini artışı paraya çevirerek kontrol et: dönüşüm oranında 0,8 puanlık bir kazanç, ortalama sipariş değeri yüksek bir mağaza için düşük olana göre çok daha fazla gelir demektir.
Anlamlı bir sonuca güvenmeden önce
0,05'in altındaki bir p-değeri, onu üreten test kadar güvenilirdir. Kazananı ilan etmeden önce şu kontrollerden geç:
Planlanan örneklem: p-değerinin 0,05'in altına ilk düştüğü anda durmak yanlış pozitifleri artırır. Evan Miller, tekrarlanan anlamlılık testinin yanlış pozitif oranını her zaman yükselttiğini ve bir deneye on kez bakmanın %1 görünen anlamlılığı fiilen %5'e çıkardığını gösterir (How Not To Run an A/B Test).
Trafik bölünmesi: 50/50 kurulan bir test gözle görülür biçimde dengesiz gruplarla bittiyse, p-değerine bakmadan önce atamayı ve ölçümü kontrol et. Bozuk bir bölünme, değişiklikle hiçbir ilgisi olmayan, anlamlı görünen bir fark üretebilir.
Kıyas sayısı: ikiden fazla varyant ya da birden çok metrik test etmek, rastlantıya sahte bir kazanan üretmesi için daha fazla fırsat verir. Her varyantı kontrolle ayrı ayrı kıyasla ve eşiği sıkılaştır. NIST e-El Kitabı'ndaki Bonferroni yöntemi hata payını kıyas sayısına paylaştırır. Kontrole karşı üç varyantta her biri için eşik 0,05 yerine yaklaşık 0,0167 olur.
Tam haftalar: hafta içi ve hafta sonu ziyaretçileri çoğu zaman farklı davranır. Pazartesiden perşembeye çalışan bir test kitlenin yalnızca bir kısmını anlatır.
Normal yaklaşım için yeterli dönüşüm: varyant başına çok az dönüşüm varsa anlamlı bir sonucu bile geçici kabul et.
Bu beş kontrolü geçen bir sonuç, karar vermek için makul bir dayanaktır. Bayesçi bir analiz yakın bir soruyu, varyantın kontrolü geçme olasılığını yanıtlar ve eşiğe yakın sonuçlarda bu frekansçı z-testi ile ayrışabilir. Yöntemi test başlamadan seç ve sonuna kadar onunla ilerle.
A/B test anlamlılık hesaplayıcısı ne zaman kullanılır
A/B test anlamlılık hesaplama işini, test başlamadan planladığın örneklem büyüklüğüne ulaştıktan sonra bir kez yap. Rastgele bölünmüş iki grupta ölçülen iki dönüşüm oranının her kıyası için uygundur: iki açılış sayfası, iki ödeme akışı, iki e-mail konu satırı. Önce gereken trafiği örneklem büyüklüğü hesaplayıcısı ile planla, sonra son sayılarla buraya dön.
Anlamlılık testi nerede yanıltır
p-değerine her gün bakıp 0,05'in altına ilk düştüğü anda durmak, beyan edilen %5'lik hata oranını anlamsız kılar. Anlamlı çıkmayan bir sonuç gerçek bir fark olmadığını da, testin var olan farkı yakalayamayacak kadar küçük kaldığını da gösterebilir. Hesaplayıcı sabit, iki yönlü %95 eşiği kullanır. Bu yüzden p = 0,06 gibi sınıra çok yakın bir sonuç da anlamsız olarak raporlanır.
Bu konuda rehberler
Sık Sorulan Sorular
A/B testinde istatistiksel anlamlılık nasıl hesaplanır?
Her grup için dönüşümü ziyaretçiye bölerek iki dönüşüm oranını bul. İki grubu birleştirip ortak oranı hesapla, bu oranla farkın standart hatasını bul ve iki oran arasındaki farkı bu standart hataya bölerek z-skorunu elde et. İki yönlü p-değeri standart normal dağılımdan gelir. 5.000 kontrol ziyaretçisinden 250, 5.000 varyant ziyaretçisinden 290 dönüşüm geldiyse z yaklaşık 1,77, p yaklaşık 0,0768 olur. Bu değer 0,05'in üzerinde olduğu için sonuç %95 güvenle anlamlı sayılmaz.
p-değeri nedir, A/B testinde nasıl yorumlanır?
p-değeri, kontrol ile varyantın gerçek dönüşüm oranı tamamen aynı olsaydı gözlenen kadar ya da daha büyük bir fark görme olasılığıdır. 0,0768'lik bir p-değeri, gerçekte hiçbir fark yokken rastgele atamanın tek başına bu büyüklükte ya da daha büyük bir farkı yaklaşık %7,7 sıklıkla üreteceği anlamına gelir. Onu sıfır hipotezinin doğru olma olasılığı ya da varyantın daha iyi olma olasılığı olarak okuma.
%95 güven, varyantın %95 ihtimalle daha iyi olduğu anlamına mı gelir?
Hayır. %95 güvenle anlamlı bir sonuç, iki sürüm gerçekte aynı performansı gösterseydi bu büyüklükte bir farkın rastlantıyla %5'ten az sıklıkla ortaya çıkacağını söyler. Varyantın kontrolü geçme olasılığı başka bir büyüklüktür ve önsel bir varsayım kullanan Bayesçi bir hesap gerektirir. İki yaklaşım yakın soruları farklı yollarla yanıtlar ve aynı veride farklı görünen sonuçlar verebilir. Sonucu raporlarken %95'i bir kazanma olasılığına çevirmek yerine p-değerini ve gözlenen artışı yaz.
Testim anlamlı çıkmadı, bu fark olmadığı anlamına mı gelir?
Her zaman öyle olmaz. Anlamlı çıkmayan bir sonuç iki duruma uyar: anlamlı bir fark yoktur ya da test var olan farkı yakalayamayacak kadar küçük kalmıştır. p-değeri tek başına ikisini ayıramaz. Mevcut dönüşüm oranını ve yakalamak istediğin artışı örneklem büyüklüğü hesaplayıcısına gir. Gereken örneklem testin topladığından çok büyükse test yetersiz güçle çalışmıştır ve dürüst sonuç "belirsiz" olur. Çözüm daha uzun ya da daha büyük bir testtir. Aynı veriyi bir segment 0,05'i geçene kadar bölmek yalnızca yanlış pozitif ekler.
A/B testini anlamlı çıktığı anda durdurabilir miyim?
Sabit örneklemli bir testte hayır. p-değerinin 0,05'in altına ilk düştüğü anda durmak, yanlış pozitif oranını %5'in çok üzerine çıkarır. Veri geldikçe p-değeri iner ve çıkar, her bakış gürültünün eşiği geçmesi için yeni bir fırsattır. Evan Miller'ın tekrarlanan anlamlılık testi analizi, bir deneye on kez bakmanın %1 görünen anlamlılığı fiilen %5'e çıkardığını gösterir (How Not To Run an A/B Test). Örneklem büyüklüğünü test başlamadan belirle, ona kadar çalıştır ve anlamlılığı bir kez kontrol et. Testi erken izlemen gerekiyorsa bunun için tasarlanmış sıralı (sequential) bir yöntem kullan.
İlgili hesaplayıcılar