# A/B testinde istatistiksel anlamlılık ve p değeri

Sayfa: https://alidemirbas.com.tr/blog/ab-testi-istatistiksel-anlamlilik

2026-11-01 · A/B Test · Ali Demirbaş

A/B testinde istatistiksel anlamlılık ve p değeri ne demek, neyi göstermez? Çözümlü örnek, %95 güven düzeyi, Tip I ve II hata ve güven aralığı.

İstatistiksel anlamlılık, bir A/B testinde gördüğün farkın tek başına rastlantıyla açıklanmasının ne kadar zor olduğunu gösteren bir ölçüttür. P değeri bu ölçütün sayısal karşılığıdır. İkisi de "varyant daha iyi mi?" sorusuna doğrudan cevap vermez, ama yanlış kararın riskini sınırlamaya yarar.

Bu yazı istatistiksel anlamlılığı çözümlü bir örnekle anlatıyor, p değerinin neyi ifade etmediğini, %95 güven düzeyinin nereden geldiğini, Tip I ve Tip II hatayı ve güven aralığını açıklıyor. Sonunda sonucu bozan en yaygın üç hatayı ele alıyor. Hesabı kendi verinle yapmak için [A/B test anlamlılık hesaplayıcısını](https://alidemirbas.com.tr/hesaplayicilar/ab-test-anlamlilik-hesaplama) kullanabilirsin.

## A/B testinde istatistiksel anlamlılık nedir?

A/B testinde istatistiksel anlamlılık, kontrol ile varyant arasında gözlenen farkın, iki sürüm gerçekte aynı olsaydı nadiren ortaya çıkacak kadar büyük olduğu anlamına gelir. Test, "iki sürüm arasında gerçek bir fark yok" diyen bir sıfır hipoteziyle başlar. Veri bu varsayımla ne kadar uyumsuzsa p değeri o kadar küçülür.

P değeri önceden seçtiğin eşiğin, yani anlamlılık düzeyinin (alfa) altına düşerse sonuç istatistiksel olarak anlamlı sayılır. A/B testlerinde en yaygın eşik 0,05'tir. Bu, %95 güven düzeyine karşılık gelir.

Anlamlılık bir kesinlik ifadesi değildir. Gerçekte fark yokken bile, testler 0,05 eşiğiyle kurulduğunda zaman zaman anlamlı sonuç üretir. Eşik, bu yanlış alarmların ne sıklıkla kabul edileceğini belirler. NIST'in istatistik el kitabı da anlamlılık düzeyini bu şekilde tanımlar: gerçekte doğru olan sıfır hipotezini reddetme riski.

### Çözümlü örnek: aynı artış, iki farklı sonuç

Anlamlılığın neden yalnızca farkın büyüklüğüne bağlı olmadığını bir örnekle görmek kolay. Aşağıdaki iki senaryoda kontrol %4,0, varyant %4,6 dönüşüm oranına sahip. Yani göreli artış ikisinde de %15.

Değişen tek şey her gruptaki ziyaretçi sayısı. Hesaplar iki oranın farkı için iki yönlü z-testiyle yapıldı.

*Varsayımsal örnek. Hesaplar iki oranın farkı için iki yönlü z-testiyle yapıldı.*

| Senaryo | Grup başına ziyaretçi | Dönüşüm (kontrol / varyant) | p değeri | Farkın %95 güven aralığı | Sonuç |
| --- | --- | --- | --- | --- | --- |
| A | 10.000 | 400 / 460 | 0,037 | +0,04 ile +1,16 puan | Anlamlı |
| B | 2.000 | 80 / 92 | 0,35 | −0,66 ile +1,86 puan | Anlamlı değil |

Aynı %15'lik artış, büyük örneklemde anlamlı, küçük örneklemde anlamsız çıkıyor. Küçük örneklemde güven aralığı sıfırı içeriyor. Yani veri, varyantın kontrolden biraz kötü olmasıyla da belirgin biçimde iyi olmasıyla da uyumlu. Bu yüzden testi başlatmadan önce ne kadar ziyaretçiye ihtiyaç olduğunu [örneklem büyüklüğü hesaplayıcısıyla](https://alidemirbas.com.tr/hesaplayicilar/orneklem-buyuklugu-hesaplama) belirlemek gerekir.

## P değeri neyi ifade etmez?

P değeri, sıfır hipotezi doğru olsaydı gözlenen kadar ya da daha uç bir sonucun ne sıklıkla görüleceğini ölçer. Sık yapılan hatalar bu tanımın dışına taşmaktan doğar.

Amerikan İstatistik Derneği (ASA) 2016'da bu yanlış okumalara karşı altı ilke yayımladı. İlkelerin tam metni [ASA'nın p değerleri bildirisinde](https://www.amstat.org/asa/files/pdfs/p-valuestatement.pdf) yer alıyor. A/B testi için en önemli üçü, p değerinin şunları ifade etmediğini söylüyor:

- **Hipotezin doğru olma olasılığı:** 0,03'lük bir p değeri "varyantın daha iyi olma ihtimali %97" demek değildir. ASA'nın ikinci ilkesi, p değerinin incelenen hipotezin doğru olma olasılığını ya da verinin yalnızca rastlantıyla üretilmiş olma olasılığını ölçmediğini belirtir.
- **Etkinin büyüklüğü ya da önemi:** Çok büyük bir örneklemde önemsiz bir fark da çok küçük bir p değeri üretebilir. Beşinci ilke, p değerinin etkinin büyüklüğünü ya da sonucun önemini ölçmediğini söyler.
- **Tek başına karar kriteri:** Üçüncü ilkeye göre bilimsel sonuçlar ve iş kararları yalnızca p değerinin bir eşiği geçip geçmemesine dayanmamalıdır.

Pratikte bu şu anlama gelir: p değerini farkın büyüklüğü, güven aralığı ve iş metriğiyle birlikte raporla. "p = 0,037, varyant kazandı" yerine "dönüşüm oranı 0,6 puan arttı, güven aralığı 0,04 ile 1,16 puan arası, p = 0,037" bilgisi karar verecek kişiye çok daha fazlasını söyler.

## Neden %95 güven düzeyi?

%95 güven düzeyi zamanla yerleşmiş bir uzlaşmadır. Kökeni genellikle istatistikçi Ronald Fisher'ın 1925 tarihli kitabına dayandırılır. Fisher, P = 0,05 yani "20'de 1" değerini sınır olarak almanın "uygun" (convenient) olduğunu yazmıştı. İfade, [kitabın üçüncü bölümünde](https://psychclassics.yorku.ca/Fisher/Methods/chap3.htm) okunabiliyor.

Eşik o günden beri yaygın biçimde kullanılıyor, ama her karar için doğru eşik olduğu anlamına gelmiyor. Pratikte %95 güven düzeyi şunu kabul etmek demektir: gerçekte hiçbir fark olmayan testlerin uzun vadede yaklaşık 20'de biri yine de anlamlı sonuç verecek. Ekibin her yıl onlarca test yürütüyorsa, bu oran birkaç yanlış kazananın yayına girmesi anlamına gelebilir.

Anlamlılık düzeyini seçerken iki hatanın maliyetini tart. Yanlış bir kazananı yayına almanın bedeli yüksekse, örneğin fiyatlandırma ya da ödeme akışı değişiyorsa, daha sıkı bir eşik (örneğin 0,01) mantıklı olabilir. Geri alınması kolay, düşük riskli bir metin değişikliğinde 0,10 gibi daha gevşek bir eşik kabul edilebilir. Hangi eşiği seçersen seç, onu testten önce yaz ve sonuçlar geldikten sonra değiştirme.

### Tek yönlü ve iki yönlü test

İki yönlü test, varyantın kontrolden hem iyi hem de kötü olabileceğini hesaba katar. Tek yönlü test yalnızca bir yönü sınar. Aynı veride tek yönlü testin p değeri, iki yönlününkinin yarısıdır. Yukarıdaki A senaryosunda iki yönlü p değeri 0,037 iken tek yönlü p değeri 0,018'dir.

Araçlar da farklı tercih yapıyor. Firebase A/B Testing, p değerlerini varyantın kontrolden büyük olduğu tek yönlü testle hesaplıyor. Optimizely ise Stats Engine'in yanlış keşif oranı kontrolü için iki yönlü test kullandığını belirtiyor.

Bir değişiklik metriği düşürebileceği için iki yönlü test, varsayılan olarak daha güvenli seçimdir. Aracının hangisini kullandığını bilmeden iki aracın sonuçlarını karşılaştırma.

## Tip I ve Tip II hata nedir?

Tip I hata, gerçekte fark yokken farkı var saymaktır, yani yanlış pozitiftir. Olasılığı anlamlılık düzeyine (alfa) eşittir.

Tip II hata, gerçekte var olan bir farkı yakalayamamaktır, yani yanlış negatiftir. Olasılığı beta ile gösterilir. Testin gücü 1 − beta'dır ve gerçek bir etkiyi yakalama olasılığını ifade eder.

*Alfa ve beta testi başlatmadan önce seçilir, güç 1 − beta'dır.*

| Hata | Ne olur | Olasılığı | Nasıl azaltılır |
| --- | --- | --- | --- |
| Tip I (yanlış pozitif) | İşe yaramayan bir varyant yayına alınır | Alfa, genellikle 0,05 | Daha sıkı eşik, erken bakmamak, az metrik |
| Tip II (yanlış negatif) | İşe yarayan bir varyant çöpe gider | Beta, güç = 1 − beta | Daha büyük örneklem, daha büyük değişiklik |

Bu iki hata birbirine bağlıdır. Aynı örneklemde alfayı küçültmek Tip I hatayı azaltır ama Tip II hatayı artırır. İkisini birlikte azaltmanın yolu örneklemi büyütmektir.

Güç ve minimum tespit edilebilir etki, [örneklem hesabının](https://alidemirbas.com.tr/blog/ab-testi-orneklem-buyuklugu-hesaplama) konusudur. Tip II hata, incelenen Türkçe kaynakların hiçbirinde açıklanmıyor, ama "test anlamlı çıkmadı, demek ki fikir kötü" sonucunun çoğu zaman yanlış olmasının nedeni budur.

### Güven aralığı nedir, p değeriyle ilişkisi?

Güven aralığı, gözlenen farkın etrafında, gerçek farkla uyumlu değerlerin aralığını verir. P değeri tek bir soruya cevap verir: fark sıfırdan ayırt edilebiliyor mu? Güven aralığı ise farkın büyüklüğü hakkında ne kadar belirsizlik olduğunu gösterir.

Aynı iki yönlü test ve aynı varsayımlar için %95 güven aralığının sıfırı içermemesi, p değerinin 0,05'in altında olmasıyla aynı sonuca karşılık gelir. A senaryosunda aralık +0,04 puandan başlıyor, sıfırı dışarıda bırakıyor ve p değeri 0,05'in altında. B senaryosunda aralık sıfırı içeriyor ve p değeri 0,05'in üzerinde.

Güven aralığı karar için p değerinden daha kullanışlıdır. Aralığın alt ucu, yayına alma kararının en kötü makul senaryosunu gösterir. Alt uç sıfıra yakınsa, sonuç anlamlı olsa bile beklenen kazancın küçük olabileceğini hesaba katmalısın.

## Sonucu nasıl okumalı?

### Anlamlı sonuç ticari başarı demek mi?

Hayır, anlamlı sonuç kendiliğinden ticari başarı demek değildir. İstatistiksel anlamlılık farkın gerçek olma ihtimalinin yüksek olduğunu söyler, farkın değerli olduğunu söylemez. Pratik anlamlılık için üç şeye bak: güven aralığının alt ucu, değişikliğin uygulama ve bakım maliyeti, ve dönüşüm oranının yanında gelir gibi değer metrikleri.

Daha çok sipariş getirip sipariş başına geliri düşüren bir varyant, anlamlı ama kârsız olabilir. Bu konuyu [dönüşüm oranı optimizasyonu (CRO) rehberindeki gelirle ölçüm bölümü](https://alidemirbas.com.tr/blog/cro-donusum-orani-optimizasyonu) ayrıntılı ele alıyor.

Beklenmedik derecede büyük bir artış görürsen önce veriyi kontrol et. Ronny Kohavi ve arkadaşları 2014 tarihli bir makalede bunu Twyman yasası olarak anıyor: ilginç ya da farklı görünen her sayı genellikle yanlıştır. Şaşırtıcı bir kazanç, çoğu zaman önce bir ölçüm ya da kurulum hatası olarak ele alınmalıdır. [Atama oranının planlananla uyuşup uyuşmadığı](https://alidemirbas.com.tr/blog/kontrol-grubu-nedir) ve iki grupta aynı olayların aynı şekilde kaydedilip kaydedilmediği ilk bakılacak yerlerdir.

### Anlamlı çıkmayan sonuç ne anlama gelir?

Anlamlı çıkmayan bir sonuç "fark yok" demek değildir. Veri, sıfır farkı dışlayacak kadar güçlü değildir. B senaryosundaki güven aralığı bunu gösteriyor: gerçek fark −0,66 puan da olabilir, +1,86 puan da.

Böyle bir sonuçta önce testin baştan yeterli güçle planlanıp planlanmadığına bak. Test yeterli güçle planlandıysa ve aralık dar ise, etkinin önemsenecek kadar büyük olmadığını söyleyebilirsin. Aralık genişse sonuç belirsizdir ve aynı fikri daha büyük bir örneklemle ya da daha cesur bir değişiklikle denemek gerekir.

## Sonucu bozan üç yaygın hata

Hesap doğru olsa bile testin nasıl yürütüldüğü sonucu geçersiz kılabilir. Sonuçları yorumlama aşamasındaki yaygın hatalar arasında en çok zarar veren üçü şunlardır.

**Erken bakıp durmak.** P değeri veri geldikçe iner ve çıkar. Her bakışta eşiğin altında olup olmadığını kontrol edip ilk düştüğü anda testi durdurmak, yanlış pozitif oranını belirlediğin düzeyin çok üzerine çıkarır.

Evan Miller'ın [bu konudaki bilinen analizine](https://www.evanmiller.org/how-not-to-run-an-ab-test.html) göre bir teste on kez bakarsan, %1 sandığın anlamlılık aslında %5 olur. Johari ve arkadaşlarının 2017 tarihli KDD makalesi de sürekli izlemenin klasik p değerlerini ve güven aralıklarını güvenilmez kıldığını gösteriyor ve her an bakılabilen "her zaman geçerli" p değerleri öneriyor. Sonuçları sürekli izlemek istiyorsan, aracının sıralı (sequential) test kullanıp kullanmadığını kontrol et.

**Çok metrik ve çok varyantı aynı eşikle okumak.** Her karşılaştırma ayrı bir yanlış pozitif şansıdır. Birbirinden bağımsız 10 metriği 0,05 eşiğiyle okursan, hiçbir gerçek fark olmasa bile en az birinin anlamlı çıkma olasılığı yaklaşık %40'tır (1 − 0,95¹⁰).

Bunu önlemek için testten önce tek bir birincil metrik seç, diğerlerini destekleyici olarak raporla. Çok sayıda varyantı karşılaştırıyorsan, NIST'in de anlattığı Bonferroni düzeltmesi gibi bir yöntemle eşiği karşılaştırma sayısına böl.

**Sonuca göre metriği ya da segmenti değiştirmek.** Birincil metrik anlamlı çıkmayınca [anlamlı çıkan bir alt segmenti](https://alidemirbas.com.tr/blog/ab-testlerinde-segmentasyon) ya da başka bir metriği "asıl sonuç" ilan etmek, aynı çoklu karşılaştırma sorununu gizli biçimde yaratır. Böyle bir bulgu yeni bir hipotezdir ve ayrı bir testte doğrulanmalıdır.

Testin hipotezini, metriğini ve süresini baştan nasıl planlayacağını [A/B testi nedir, nasıl yapılır rehberinde](https://alidemirbas.com.tr/blog/ab-testi-kapsamli-rehber) adım adım bulabilirsin. Anlamlılık, iyi planlanmış bir testin son adımıdır.