A/B testi için örneklem büyüklüğü nasıl hesaplanır?

Örneklem büyüklüğü, bir A/B testinde beklediğin etkiyi güvenilir biçimde yakalamak için her varyanta kaç ziyaretçi gerektiğini gösterir. Testi başlatmadan önce hesaplanır ve testin ne kadar süreceğini, hatta yapılmaya değer olup olmadığını belirler. Hesap dört girdiye dayanır: mevcut dönüşüm oranı, yakalamak istediğin en küçük etki, güven düzeyi ve istatistiksel güç.

Bu yazı formülü açıklıyor, adım adım çözümlü bir örnek veriyor ve sonucu en çok değiştiren hatayı, yani göreli ve mutlak etkinin karıştırılmasını gösteriyor. Hesabı kendi rakamlarınla yapmak için A/B test örneklem büyüklüğü hesaplayıcısını kullanabilirsin. Bu yazıdaki örnekler o hesaplayıcıyla aynı formül ve aynı sabitlerle hesaplandı.

A/B testi örneklem büyüklüğü, iki oranın karşılaştırıldığı klasik formülle hesaplanır. Örneklem büyüklüğü hesaplama adımları aşağıda tek tek gösteriliyor. Formül, sıfır hipotezi doğruyken yanlış alarm verme riskini (alfa) ve gerçek bir etkiyi kaçırma riskini (beta) aynı anda sınırlayan en küçük grubu bulur. Sitedeki hesaplayıcının kullandığı biçim şudur:

Varyant başına örneklem = 2 × (z_alfa + z_güç)² × p × (1 − p) ÷ (p × MDE)²

Burada p mevcut dönüşüm oranı, MDE (minimum tespit edilebilir etki) göreli olarak yakalamak istediğin en küçük etki, z_alfa güven düzeyine karşılık gelen z-değeri (%95 güven ve iki yönlü test için 1,96), z_güç ise güce karşılık gelen z-değeridir (%80 güç için 0,8416). Paydadaki p × MDE, göreli etkinin mutlak farka çevrilmiş hâlidir.

Formül, iki grubun varyansını kontrol grubunun oranıyla yaklaşık olarak hesaplar. Her iki grubun varyansını ayrı ayrı kullanan biraz daha kesin bir biçim de vardır ve biraz daha büyük bir sonuç verir. Çözümlü örnekteki rakamlarla bu fark yaklaşık %7'dir.

Daha hızlı bir tahmin için Ronny Kohavi ve arkadaşlarının 2009 tarihli makalesindeki pratik kural kullanılabilir: %95 güven ve %80 güç için varyant başına örneklem yaklaşık 16 × σ² ÷ Δ²'dir. Dönüşüm oranında varyans σ² = p × (1 − p), Δ ise yakalamak istediğin mutlak farktır. Makale, gücü %90'a çıkarmak için 16 yerine 21 kullanılmasını öneriyor. Kuralın ayrıntıları Kohavi ve arkadaşlarının kontrollü deneyler rehberinde yer alıyor.

Hangi girdiler gerekir?

Formülün dört girdisi var ve her biri sonucu farklı yönde etkiliyor. Aşağıdaki tablo girdileri, A/B testlerinde sık kullanılan değerleri ve örneklem üzerindeki etkilerini özetliyor.

Tablodaki en güçlü kaldıraç MDE'dir, çünkü formülde karesi alınarak paydaya girer. Mevcut oranın etkisi de küçük değildir. Göreli MDE sabitken formül kabaca oranla ters orantılı çalışır: aynı %15'lik artışı yakalamak için oran %4'ten %2'ye indiğinde varyant başına örneklem 16.745'ten 34.187'ye, yani yaklaşık iki katına çıkar. Dönüşüm oranı düşük olan huni adımlarında testin bu yüzden çok daha uzun sürdüğünü hesaba kat.

Mevcut dönüşüm oranını tahmin etmek yerine aynı sayfanın ve aynı trafiğin yakın geçmişinden al. Güven düzeyi ve güç çoğu ekipte sabit tutulur, MDE ise test edilen değişikliğe göre seçilir.

Mevcut dönüşüm oranını seçerken testin kapsayacağı kitleyi esas al. Test yalnızca mobil ziyaretçilere ya da yalnızca ödeme adımına ulaşanlara gösterilecekse, oranı da o kitlenin geçmişinden hesapla. Tüm sitenin ortalamasını kullanmak, test edilen sayfanın oranından farklı olabilir ve örneklemi gereğinden küçük ya da büyük çıkarır. Kampanya, indirim ya da bayram gibi olağan dışı dönemleri hesaba katmamak da daha gerçekçi bir başlangıç değeri verir.

Çözümlü örnek

Mevcut dönüşüm oranı %4 olan bir ödeme sayfasında, %15'lik göreli bir artışı yakalamak istediğini düşün. Güven düzeyi %95 (iki yönlü), güç %80 olsun. Hesap adım adım şöyle ilerler:

1. Mutlak farkı bul: 0,04 × 0,15 = 0,006. Yani hedef, oranın %4'ten %4,6'ya çıkmasını yakalamak.
2. z-değerlerini topla ve karesini al: (1,96 + 0,8416)² = 7,849.
3. Varyansı hesapla: 0,04 × (1 − 0,04) = 0,0384.
4. Formülü uygula: 2 × 7,849 × 0,0384 ÷ 0,006² = 2 × 7,849 × 0,0384 ÷ 0,000036 ≈ 16.744,5.
5. Yukarı yuvarla: Varyant başına 16.745 ziyaretçi. İki varyantlı bir test için toplam 33.490 ziyaretçi gerekir.

Kohavi'nin pratik kuralı aynı örnekte 16 × 0,0384 ÷ 0,000036 ≈ 17.067 veriyor, yani hızlı tahmin için yeterince yakın. Bu toplamı sayfaya günde ulaşan uygun ziyaretçi sayısına bölünce test süresi gün olarak çıkar. Sonucu tam haftaya yuvarlamak, hafta içi ve hafta sonu davranışının ikisini de teste dahil eder.

MDE, araca göre göreli ya da mutlak tanımlanır ve bu fark sonucu kat kat değiştirir. Göreli MDE, mevcut orana göre yüzde değişimdir: %4'lük bir oranda %15 göreli MDE, %4,6 demektir. Mutlak MDE ise yüzde puan farkıdır: aynı oranda 15 puanlık mutlak MDE, oranın %19'a çıkması demektir. Bu sitedeki hesaplayıcı göreli MDE kullanıyor.

İki tanımı karıştırmanın etkisi büyüktür. Yukarıdaki örnekte göreli %15 yerine mutlak 15 puan girilirse formül varyant başına yalnızca 27 ziyaretçi verir. Gerçekte gereken 16.745'tir. Bu kadar küçük bir örneklemle yürütülen bir test, gerçekçi bir artışı neredeyse hiç yakalayamaz.

Araçların tanımları farklı. Optimizely, MDE'yi dönüşüm oranındaki en küçük göreli değişim olarak tanımlıyor ve %20'lik bir oranda %10 MDE'nin %18 ile %22 aralığı anlamına geldiğini örnekliyor. GrowthBook da göreli yüzde iyileşme kullanıyor. Evan Miller'ın yaygın kullanılan hesaplayıcısında ise göreli ve mutlak arasında bir seçim düğmesi var ve varsayılan mutlak.

Bir hesaplayıcıdan aldığın sonucu başka bir araçla karşılaştırmadan önce hangi tanımı kullandığını kontrol et. Optimizely'nin kendi hesaplayıcısının sıralı (sequential) istatistik motoruna göre çalıştığını, bu yüzden sabit örneklemli formüllerle doğrudan karşılaştırılamayacağını da not et.

MDE'yi seçerken istatistikten önce iş tarafına bak: değişikliği yayına almayı haklı çıkaracak en küçük iyileşme ne? Bu değer, değişikliğin geliştirme ve bakım maliyetini karşılayacak kazançtan gelir.

İstatistiksel güç, gerçekte var olan bir etkiyi testin yakalama olasılığıdır. %80 güç, gerçek artış MDE'ye eşitse testin onu beş denemenin dördünde anlamlı bulacağı anlamına gelir. Geri kalan %20, Tip II hata yani yanlış negatif riskidir. Tip I ve Tip II hatanın ne olduğunu A/B testinde istatistiksel anlamlılık yazısında ayrıntılı bulabilirsin.

%80'in kaynağı istatistikçi Jacob Cohen'dir. Cohen 1992'de Psychological Bulletin'de yayımlanan makalesinde %80 gücü genel kullanım için önerilen bir uzlaşma olarak tanımlıyor. Yani bu oran bir zorunluluk değil, yaygın bir varsayılandır.

Gerçek bir etkiyi kaçırmanın pahalı olduğu durumlarda %90 güç seçmek mantıklıdır. Yukarıdaki örnekte gücü %90'a çıkarmak, varyant başına örneklemi 16.745'ten 22.418'e yükseltir.

Formülün hangi girdiye ne kadar duyarlı olduğunu görmek, planlamada en çok işe yarayan adımdır. Aşağıdaki tablo, çözümlü örnekteki tek bir girdiyi değiştirip diğerlerini sabit tutarak sonucu gösteriyor.

Tablonun en önemli satırları MDE satırlarıdır: etkiyi yarıya indirmek örneklemi dört katına çıkarır, iki katına çıkarmak dörtte birine indirir. Trafiği sınırlı bir sitede daha cesur bir değişikliği test etmenin, küçük bir değişikliği uzun süre test etmekten genellikle daha verimli olmasının nedeni budur.

Birden fazla varyantta örneklem nasıl değişir?

Birden fazla varyant test ettiğinde her varyant kendi örneklemine ihtiyaç duyar, bu yüzden toplam trafik ihtiyacı varyant sayısıyla doğru orantılı olarak artar. Optimizely'nin dokümantasyonu bunu basit bir çarpımla gösteriyor: varyant başına 8.000 ziyaretçi ve 4 varyant için toplam 32.000 ziyaretçi.

Bunun üzerine bir etki daha eklenir. Birden fazla varyantı kontrolle karşılaştırırken yanlış pozitif riskini korumak için alfa genellikle karşılaştırma sayısına bölünür (Bonferroni düzeltmesi). İki varyantı kontrolle karşılaştıran bir A/B/C testinde alfa 0,025'e düşer ve varyant başına örneklem 16.745'ten yaklaşık 20.300'e çıkar. Üç grupla toplam ihtiyaç 33.490'dan yaklaşık 60.800'e yükselir.

Tek yönlü test örneklemi küçültür mü?

Evet, aynı alfa ve güçle tek yönlü test daha küçük bir örneklem ister, çünkü formülde 1,96 yerine 1,645 kullanılır. Örnekte bu, 16.745'i 13.191'e indirir. Ama tek yönlü test, varyantın metriği düşürdüğü durumu ayrıca sınamaz. Örneklemi küçültmek için yön seçmek, testin neyi ölçtüğünü değiştirir.

Yetersiz örneklemin ilk riski, gerçek bir etkiyi kaçırmaktır: güç düştükçe "anlamlı değil" sonucu daha sık çıkar ve işe yarayan fikirler çöpe gider. İkinci risk daha az bilinir. Andrew Gelman ve John Carlin'in 2014 tarihli makalesi, güç yaklaşık %50'nin çok altına indiğinde anlamlı çıkan tahminlerin gerçek etkiden çok daha büyük olma eğiliminde olduğunu gösteriyor. Yazarlar bunu büyüklük hatası (Type M) olarak adlandırıyor ve makalede ayrıntılı örnekliyor.

Pratikte bu şu anlama gelir: küçük bir örneklemle "kazanan" bulunan bir test, artışı olduğundan büyük gösterebilir. Yayına alınan değişiklik beklenen sonucu vermez ve ekip neden tutmadığını anlamaya çalışır. Bu yüzden örneklem hesabı, sonucun güvenilirliği kadar sonucun büyüklüğünün de güvenilirliği için gereklidir. Testi hesaplanan örnekleme ulaşmadan durdurmak aynı sorunu yaratır.

Anket örneklemi bir oranı belirli bir hata payıyla tahmin etmek için gereken kişi sayısını verir. A/B örneklemi ise iki oran arasındaki farkı yakalamak için gereken kişi sayısını verir. Türkçe arama sonuçlarında ikisi sık karıştırılıyor.

Anket hesabının formülü n = z² × p × (1 − p) ÷ e²'dir. Burada e hata payıdır. %95 güven ve ±5 puan hata payıyla, en temkinli varsayım olan p = 0,5 için sonuç 385 kişidir.

385 sayısı A/B testi için hiçbir şey söylemez. A/B testinde soru, oranın kendisini değil iki grup arasındaki küçük bir farkı bulmaktır. Fark ne kadar küçükse gereken örneklem o kadar büyür ve yukarıdaki örnekte olduğu gibi grup başına on binlere ulaşır. Anket hesaplayıcısından alınan bir sayıyla A/B testi planlamak, testi baştan yetersiz güçle başlatır.

Örneklem hesabı testin planlama aşamasının bir parçasıdır. Hipotezi, metriği ve testin geri kalanını nasıl planlayacağını A/B testi nedir, nasıl yapılır rehberinde bulabilirsin.