# A/B testlerinde segmentasyon: bir segmentte kazanmak yayına yeter mi?

Sayfa: https://alidemirbas.com.tr/blog/ab-testlerinde-segmentasyon

2026-11-05 · A/B Test · Ali Demirbaş

A/B testlerinde segmentasyon karara nasıl girer: sonradan bölmenin ürettiği sahte kazananlar, segment başına güç ve segmente özel yayın, hesaplı örnekle.

A/B testlerinde segmentasyon, ortalama sonucun arkasındaki farkları görmeni sağlar. Ama aynı araç, hiçbir gerçek etkisi olmayan bir varyantı da "mobilde kazandı" diye gösterebilir. Segmentasyonun önemi tam bu iki yüzden geliyor: doğru kurulduğunda hangi kullanıcıya neyin işe yaradığını söyler, yanlış kurulduğunda şansı bulgu gibi sunar.

Bu yazı segmentlerin karar tarafını anlatıyor. Hangi segmentlerin testten önce yazılması gerektiğini, sonuçları dilimlemenin yanlış kazanan sayısını nasıl artırdığını, segment başına örneklemin gücü nasıl düşürdüğünü, Simpson paradoksunu ve segmente özel yayının hangi koşulda savunulabileceğini, tek bir varsayımsal örnek üzerinden hesaplayarak görebilirsin.

## A/B testlerinde segmentasyon ne işe yarar?

A/B testlerinde segmentasyon iki farklı iş görür: testi baştan belirli bir kitleye hedeflemek ya da bitmiş bir testin sonucunu alt gruplara bölerek okumak. İlkine ön segmentasyon, ikincisine sonradan segmentasyon deniyor. Rastgele atama ve hipotez gibi temel kavramlar [A/B testi nedir, nasıl yapılır rehberinde](https://alidemirbas.com.tr/blog/ab-testi-kapsamli-rehber) anlatılıyor. Burada konu, segmentin karara nasıl girdiği.

Bir A/B testi tüm katılımcılar için ortalama bir etki ölçer. Ortalama, iki segmentte zıt yönde çalışan bir değişikliği "etkisiz" gösterebilir. Segmentasyonun değeri bu gizli farkı bulmasında. Riski de aynı yerde: baktığın dilim sayısı arttıkça şans eseri farklı görünen bir dilim bulma olasılığın da artar.

### Ön segmentasyon ve sonradan segmentasyon

Ön segmentasyonda segment testten önce tanımlanır. Ya test yalnızca o segmente gösterilir ya da segment analiz planına yazılır ve sonuç ne çıkarsa çıksın raporlanır. Sonradan segmentasyonda ise sonuçlar geldikten sonra cihaz, kaynak ya da ülke filtreleri denenir.

İkisinin kanıt değeri aynı değil. Avrupa İlaç Ajansı'nın (EMA) 2019'da yürürlüğe giren [alt grup analizi kılavuzu](https://www.ema.europa.eu/en/documents/scientific-guideline/guideline-investigation-subgroups-confirmatory-clinical-trials_en.pdf) bir alt grup bulgusunun güvenilirliğini üç şeye bağlıyor: önceden yapılmış sağlam bir tanım, beklenebilir bir mekanizma ve tekrar. Kılavuz, bir faktörü yalnızca "sonra bakarız" diye listelemenin ön tanım sayılmadığını da ekliyor.

Aynı kılavuz, ön tanımın olmamasının tek başına bir bulguyu güvenilmez yapmadığını da söylüyor. Bir bulguya itiraz, mekanizmanın makul olup olmadığına ve tekrarlanıp tekrarlanmadığına dayanmalı. Kılavuz klinik deneyler için yazılmış ve bir ürün deneyi standardı değil. Yine de bir bulgunun neye dayandığını sorma biçimi ürün testlerinde de yol gösterir.

Optimizely'nin kendi [segmentasyon dokümanı](https://docs.optimizely.com/experimentation-strategy/docs/attributes-and-segmentation) da 3 Kasım 2026 tarihli hâliyle aynı çizgide: segmentler ve filtreler karar vermek için değil, veriyi keşfetmek için kullanılmalı. Sonradan bulunan bir segment bu yüzden bir sonuç değil, bir sonraki testin hipotezidir.

### Segment, atamadan önce bilinen bir özellik olmalı

Bir segmentin geçerli olması için kullanıcının hangi segmentte olduğu varyanttan etkilenmemeli. Cihaz türü, ilk ziyaretteki trafik kaynağı ya da test başladığında müşterinin yeni mi eski mi olduğu atamadan önce bellidir. "Sepete ekleyenler", "yeni bileşene tıklayanlar" ya da "etkileşimi yüksek kullanıcılar" gibi gruplar ise varyantın kendisinden etkilenebilir. EMA kılavuzu da tedaviden sonra ölçülen değişkenlerin alt grup tanımı için genellikle uygun olmadığını söylüyor.

Varyant B daha fazla kişiyi sepete götürüyorsa B'nin "sepete ekleyenler" grubu, A'nınkinden farklı türde insanlardan oluşur. O grup içindeki karşılaştırma artık rastgele atamanın korumasında değildir. Segment tanımını kullanıcının teste ilk girdiği anda dondurmak bu sorunu baştan keser.

Müşteri segmentlerini zaten RFM (recency, frequency, monetary) yani yenilik, sıklık ve parasal değer skoruyla kuruyorsan, testin başladığı günkü grubu kullan. Skorun nasıl kurulduğu [RFM analizi yazısında](https://alidemirbas.com.tr/blog/rfm-analizi-musteri-segmentasyonu) anlatılıyor.

## Sonuçları çok segmente bölmek yanlış kazanan üretir

Sonuçları segmentlere bölmek, her segment için ayrı bir anlamlılık testi yapmak demektir. Her test kendi yanlış pozitif şansını taşır ve bu birikime çoklu karşılaştırma sorunu denir. On metrik için bu etkinin nasıl büyüdüğü [istatistiksel anlamlılık yazısında](https://alidemirbas.com.tr/blog/ab-testi-istatistiksel-anlamlilik) anlatılıyor.

Segmentlerde iki ek sorun var. Dilim sayısı göze görünmeden artar ve ekipler genelde yalnızca kazanan yöndeki farkı "bulgu" sayar.

### Varsayımsal örnek: hiçbir segmentte etki yokken kaç "kazanan" çıkar?

Varyantın hiçbir kullanıcıya etkisi olmadığını, ekibin sonuçları %5 anlamlılık düzeyinde ve iki yönlü testle okuduğunu varsay. İki yönlü testte yanlış pozitiflerin yarısı varyant lehine, yarısı aleyhine çıkar.

Aşağıdaki tablo, incelenen segment sayısına göre tümüyle şansa dayalı bulguları gösteriyor. Hesap segmentlerin birbirinden bağımsız olduğunu varsayıyor. Aynı boyutun dilimleri (mobil ve masaüstü) bağımsızdır, örtüşen boyutlar (mobil ve yeni ziyaretçi) değildir, bu yüzden rakamlar yaklaşık.

*Etkisi olmayan bir testte incelenen segment sayısına göre sahte kazanan olasılığı.*

| İncelenen segment | En az bir anlamlı sonuç | En az bir sahte kazanan | Bonferroni eşiği |
| --- | --- | --- | --- |
| 1 | %5,0 | %2,5 | 0,05 |
| 2 | %9,8 | %4,9 | 0,025 |
| 6 | %26,5 | %14,1 | 0,0083 |
| 12 | %46,0 | %26,2 | 0,0042 |

On iki segment dört boyuttan hızla oluşur: cihaz (2), ziyaretçi tipi (2), trafik kaynağı (4) ve bölge (4). Bu on iki test bağımsız olsaydı, gerçek bir etki yokken bile testlerin yaklaşık dörtte birinde en az bir segment "kazanan" görünürdü. Cihaz, kaynak ve bölge dilimleri aynı kullanıcıları paylaştığı için gerçek oran farklı olabilir, bu yüzden %26,2'yi bir örnek olarak oku.

Bağımsızlık varsayımı gerektirmeyen rakam, ortalama sahte kazanan sayısı. Her segment testi %2,5 ihtimalle sahte bir kazanan ürettiği için bu sayı test başına 12 × 0,025 = 0,3. Yani her birini on iki segmente bölen on test çalıştıran bir ekip, hiçbir değişiklik işe yaramasa bile ortalama üç sahte segment başarısı raporlar.

### Bonferroni düzeltmesi mi, tekrar testi mi?

Kaynaklar bu noktada ayrışıyor. NIST istatistik el kitabındaki [Bonferroni yöntemi](https://www.itl.nist.gov/div898/handbook/prc/section4/prc473.htm), g karşılaştırmanın her birini α/g düzeyinde yaparak toplam yanlış pozitif riskini α'nın altında tutar. Burada g, fiilen test edilen karşılaştırma sayısıdır ve tablodaki son sütun bu eşiği gösteriyor. NIST, yöntemi önceden seçilmiş bir karşılaştırma grubu için tanımlıyor.

EMA ise keşif amaçlı alt grup analizlerinde eşiği düzeltmeyi önermiyor, çünkü bu analizler yeni bir incelemenin gerekip gerekmediğini göstermek için yapılıyor. Kılavuz düzeltme yerine mekanizmanın makul olup olmadığına ve bulgunun başka veride tekrarlanıp tekrarlanmadığına bakmayı istiyor.

İki yaklaşım çelişmekten çok farklı soruları yanıtlıyor. Bir segment için karar vereceksen önceden sayısı belli segmentlerde düzeltilmiş eşik kullan. Keşif yapıyorsan düzeltmeyle uğraşmak yerine bulguyu yeni bir testle doğrula.

## Segment başına örneklem testin gücünü düşürür

Bir A/B testinin örneklemi genelde tüm trafikteki etkiyi yakalayacak kadar hesaplanır. Segmente bölündüğünde her dilimin kendi örneklemi küçülür ve gerçek bir etkiyi görme olasılığı, yani istatistiksel güç, düşer. Örneklemin nasıl hesaplandığı [A/B testi örneklem büyüklüğü yazısında](https://alidemirbas.com.tr/blog/ab-testi-orneklem-buyuklugu-hesaplama) anlatılıyor. Kendi rakamlarınla denemek için [örneklem büyüklüğü hesaplayıcısını](https://alidemirbas.com.tr/hesaplayicilar/orneklem-buyuklugu-hesaplama) kullanabilirsin.

### Varsayımsal örnek: her segmentin gücü

Bu yazının ana örneğinde her kolda 50.000 kullanıcı var ve trafiğin %60'ı mobil. Mobil kullanıcıların dönüşüm oranı masaüstünün yarısı kadar. Parantez içindeki rakam kontrol grubunun dönüşüm oranı. Tablo, %10'luk göreli bir artışı %5 anlamlılık düzeyinde yakalama olasılığını gösteriyor.

*Segment başına kullanıcı sayısı ve testin gücü.*

| Kapsam | Kol başına kullanıcı | Güç | %80 güç için gereken |
| --- | --- | --- | --- |
| Tüm trafik (%2,8) | 50.000 | %75 | 57.135 |
| Mobil (%2,0) | 30.000 | %40 | 80.682 |
| Masaüstü (%4,0) | 20.000 | %51 | 39.475 |
| Mobil yeni ziyaretçi (%1,5) | 10.000 | %14 | 108.153 |

Tüm trafikte makul görünen bir test, mobilde gerçek bir %10'luk artışı yaklaşık beşte üç ihtimalle kaçırır. Düşük güçlü bir segmentte anlamlı çıkan sonuç da sorunlu. Bu, eşiğin mantığından çıkan bir sonuç: o segmentte yalnızca gerçek etkiden büyük görünen tahminler eşiği geçebildiği için, anlamlı çıkan tahmin etkiyi büyütme eğilimindedir. Bir segmentte karar vermek istiyorsan o segmentin örneklemini testten önce hesapla ve gerekiyorsa testi uzat.

Tablo %5 anlamlılık düzeyiyle hesaplandı. Karar düzeltilmiş bir eşikle verilecekse örneklemi de o eşikle hesaplaman gerekir. Örneğin mobil karar aşağıdaki gibi 0,025 eşiğiyle verilecekse, %80 güç için kol başına 80.682 yerine 97.706 kullanıcı gerekir.

### Etkileşim testinin gücü daha da düşüktür

Asıl soru genelde "mobilde etki var mı?" değil, "mobildeki etki masaüstündekinden farklı mı?" sorusudur. Bu ikinci soruya etkileşim testi yanıt verir ve gücü daha düşüktür.

Brookes ve arkadaşlarının 2004 tarihli simülasyon çalışmasına göre genel etki için %80 güçle tasarlanmış bir deney, aynı büyüklükteki bir etkileşimi yalnızca %29 güçle yakalıyor. Aynı gücü korumak için örneklemin dört katına çıkması gerekiyor. Bu dört kat, etkileşimin genel etki kadar büyük olduğu durum için geçerli. Çalışma, daha küçük etkileşimlerde gereken örneklemin hızla büyüdüğünü de söylüyor.

Aynı sonuç, iki eşit segmentli varsayımsal bir test için yapılan hesapta da çıkıyor: güç %28,8, gereken örneklem dört kat. Sebep aritmetik. Her yarının standart hatası genelinkinin yaklaşık 1,4 katıdır, iki yarının farkınınki ise 2 katı.

Aynı hesapla, genel etkinin yarısı büyüklüğündeki bir etkileşim 16 kat örneklem ister. Bu yüzden dört katı bir üst sınır gibi okuma. Etkileşim örneklemini, beklediğin etkileşim büyüklüğüne ve segmentlerin trafik payına göre ayrıca hesapla.

## Simpson paradoksu: segment karışımı değişince

Simpson paradoksu, her segmentte aynı yönde görünen bir farkın, segmentler birleştirilince tersine dönmesidir. Rastgele atanmış ve trafik oranı sabit bir testte iki kolun segment karışımı beklenti olarak aynı olduğundan bu ters dönüş beklenmez. Paradoks genelde kolların karışımı birbirinden ayrıldığında ortaya çıkar. Bunun en yaygın yolu testin ortasında trafik oranını değiştirmektir.

Kohavi ve Longbotham'ın Microsoft deneylerinden derlediği [beklenmedik sonuçlar makalesi](https://exp-platform.com/Documents/2010-12%20ExPUnexpectedSIGKDD.pdf) bunun gerçek bir örneğini veriyor. Bir deneyde varyant toplamda %4 kötü görünüyordu ama neredeyse her gün kontrolden iyiydi.

Varyantın trafik payı ilk 26 gün %1'di, sonra bir hafta %5'e, son iki gün %50'ye çıkarılmıştı. Deney pazartesi başlamıştı ve son iki gün, kullanıcı başına tıklamanın düşük olduğu hafta sonuna denk geliyordu. Varyantın payı o günlerde büyük olduğu için bu düşük günler varyantın ortalamasını orantısız biçimde aşağı çekmişti.

### Varsayımsal örnek: trafik oranı test ortasında değişirse

Varyant ilk hafta trafiğin %10'unu alıyor, ikinci hafta %50'sini. İlk hafta bir kampanya yüzünden dönüşüm yüksek. Varyant her iki haftada da kontrolden %5 iyi.

*Trafik oranı test ortasında değişince dönem bazında sonuçlar.*

| Dönem | Kontrol | Varyant | Göreli fark |
| --- | --- | --- | --- |
| 1. hafta | 45.000 kişi, %4,0 | 5.000 kişi, %4,2 | +%5,0 |
| 2. hafta | 25.000 kişi, %2,0 | 25.000 kişi, %2,1 | +%5,0 |
| Toplam | 70.000 kişi, %3,29 | 30.000 kişi, %2,45 | −%25,4 |

Toplam satırı varyantı dörtte bir oranında kötü gösteriyor, çünkü kontrol kullanıcılarının çoğu yüksek dönüşümlü haftadan geliyor. İki haftayı aynı ağırlıkla toplarsan kontrol %3,00, varyant %3,15 çıkar ve fark yine +%5 olur. Çözüm Kohavi'nin önerisiyle aynı: kontrol ile varyant arasındaki oran test boyunca değişmesin, kademeli açılış testten önce bitsin.

### Simpson paradoksunu kendi verinde nasıl ayırt edersin?

Kendi verinde üç ayrı kontrole bakman gerekir ve biri ötekinin yerini tutmaz. İlki örneklem oranı uyuşmazlığı (SRM) kontrolü. Bu kontrol, kollara düşen kullanıcı sayısının planlanan orandan, örneğin 50/50'den, şansla açıklanamayacak kadar sapıp sapmadığını ki-kare gibi bir istatistiksel testle sınar. Microsoft Research'ün [SRM teşhisi yazısı](https://www.microsoft.com/en-us/research/articles/diagnosing-sample-ratio-mismatch-in-a-b-testing/) bu testi etki analizinden önce geçilmesi gereken bir kontrol olarak anlatıyor.

İkinci kontrol, aynı testi her segmentin ve trafik oranının değiştiği her dönemin içinde tekrarlamak. Microsoft'un yazısı da SRM'nin yalnızca bazı segmentlerde mi yoksa her yerde mi görüldüğüne bakmayı öneriyor. Kontrolün temeli [kontrol grubu yazısında](https://alidemirbas.com.tr/blog/kontrol-grubu-nedir) anlatılıyor.

Üçüncü kontrol, iki kolun segment karışımını yan yana koymak. Rastgele atama payları tam eşit yapmaz ve küçük farklar normaldir, aranan şey şansın açıklayamayacağı sistematik bir fark. Varsayımsal olarak her kolda 50.000 kullanıcı varken mobilin payı kontrolde %60, varyantta %52 ise bu fark şansla açıklanamaz. Nedeni bulunmadan toplam sonuca güvenilmez.

Bu kontroller birbirini kapsamaz. Planlanan 50/50 atama 60/40 çalışmış olabilir ama iki kolun mobil payı yine aynı çıkabilir. Tersine, toplam oran tutarken segment karışımı kayabilir. EMA kılavuzu da rastgele atamanın sağladığı dengenin alt gruplarda tam korunmayabileceğini hatırlatıyor.

Üç kontrol de temizse ve genel sonuç bir segmentle çelişiyorsa, karşındaki şey büyük ihtimalle Simpson paradoksu değil, segmentler arasındaki gerçek ya da şans eseri bir farktır. Bunu ayırt etmenin yolu bir sonraki bölümdeki etkileşim testi.

Bu kontroller kayma olduğunu gösterir ama neden olduğunu göstermez. Neden için atama günlüklerine ve trafik oranı değişikliklerinin tarihine bakman gerekir.

## Varsayımsal örnek: toplamda fark çıkmayan, mobilde öne geçen test

Varsayımsal örnek, bir ürün sayfası değişikliğinin her kolda 50.000 kullanıcıyla test edildiği durumu ele alıyor. Birincil metrik, test süresince en az bir sipariş veren kullanıcıların payı, yani kullanıcı düzeyinde bir [dönüşüm oranı](https://alidemirbas.com.tr/hesaplayicilar/donusum-orani-hesaplama). Tablodaki p değerleri bu evet/hayır metriği için hesaplandı. Toplam siparişi kullanıcı sayısına bölen bir metrik bu hesapla test edilemez, çünkü birden fazla sipariş veren kullanıcılar belirsizliği değiştirir.

Örneği sade tutmak için trafik oranı test boyunca 50/50, SRM kontrolü temiz ve mobil her iki kolda 30.000 kullanıcı.

*Toplamda anlamlı fark yokken segment bazında sonuçlar.*

| Segment | Kontrol | Varyant | Fark ve p değeri |
| --- | --- | --- | --- |
| Mobil (30.000) | %2,00 | %2,25 | +0,25 puan, p = 0,034 |
| Masaüstü (20.000) | %4,00 | %3,60 | −0,40 puan, p = 0,036 |
| Toplam (50.000) | %2,80 | %2,79 | −0,01 puan, p = 0,92 |

Toplamda varyant 0,01 puan geride ama fark anlamlı değil, yani toplamda bir fark gösterilemiyor. Mobilde ise varyant %12,5 göreli artışla anlamlı görünüyor.

Mobil farkın %95 güven aralığı +0,02 ile +0,48 puan arasında. Aralık sıfırı dışarıda bırakıyor ama alt sınırı sıfıra yakın. İlk akla gelen yorum "masaüstünde eski sayfayı tut, mobilde yenisini yayınla" olur. İlk yorumu yanlış çıkan gerçek testler [A/B test örnekleri yazısında](https://alidemirbas.com.tr/blog/ab-test-ornekleri-gercek-vakalar) derleniyor.

Sabit trafik oranıyla toplam fark segment farklarının ağırlıklı ortalamasına eşittir (0,6 × 0,25 + 0,4 × (−0,40) = −0,01 puan). Bu yüzden toplam tahmin geride, mobil tahmin öndeyse masaüstü tahmininin daha fazla geride olması gerekir.

### Etkileşim testi: mobil ile masaüstü gerçekten farklı mı?

Bir segmentte anlamlı, diğerinde anlamsız ya da ters sonuç görmek, iki segmentin farklı olduğunu kanıtlamaz. Gelman ve Stern'in [2006 tarihli makalesi](https://sites.stat.columbia.edu/gelman/research/published/signif4.pdf) bunu başlığında söylüyor: "anlamlı" ile "anlamsız" arasındaki fark kendi başına anlamlı değildir.

Makalenin örneğinde bir tahmin anlamlı (25 ± 10), diğeri anlamsız (10 ± 10). Ama ikisinin farkı 15 ± 14 ve anlamlılığa yakın bile değil.

Doğru test, iki segmentin etkisinin farkına bakar. Altman ve Bland'in British Medical Journal'da (BMJ) yayımlanan [etkileşim notu](https://pmc.ncbi.nlm.nih.gov/articles/PMC1125071/) bu farkın standart hatasını iki standart hatanın karelerinin toplamının karekökü olarak veriyor.

Örnekte mobil ile masaüstü etkisi arasındaki fark 0,65 puan, standart hatası 0,225 puan. Bu da z = 2,89 ve p = 0,0038 ediyor. Kendi testinde segment p değerlerini [A/B test anlamlılık hesaplayıcısı](https://alidemirbas.com.tr/hesaplayicilar/ab-test-anlamlilik-hesaplama) ile ayrı ayrı hesaplayabilirsin, ama etkileşim için bu farkı ayrıca test etmen gerekir.

### Karar ne kadar sağlam?

Kararı belirleyen iki varsayım var: mobil varyantta sipariş veren kullanıcı sayısı ve kaç segmente bakıldığı. Tabloda masaüstü rakamları, kol büyüklükleri ve kontrol oranları sabit, yalnızca mobil varyantta sipariş veren kullanıcı sayısı değişiyor.

Cihaz boyutu önceden yazıldıysa iki segment için Bonferroni eşiği 0,025, tek etkileşim hipotezi için 0,05. Sonuçlar geldikten sonra dört boyuttaki on iki segment tarandıysa segment eşiği 0,05 / 12 = 0,0042 olur.

Etkileşim eşiği kaç etkileşim hipotezinin test edildiğine bağlı. Boyut başına bir genel test dört hipotez ve 0,0125 eşiği demek. Her boyutta segment çiftleri tek tek karşılaştırıldıysa 14 karşılaştırma ve 0,0036 eşiği. Dört kategorili bir boyutun genel etkileşim testi, o boyuttaki çiftlerin tek tek karşılaştırılmasıyla aynı şey değildir.

*Mobil varyanttaki satın alan sayısına göre kararın değişimi.*

| Mobil varyantta sipariş veren | Mobil p | Etkileşim p | Okuma |
| --- | --- | --- | --- |
| 650 (%2,17) | 0,153 | 0,011 | Mobil kazanca dair yeterli kanıt yok |
| 675 (%2,25) | 0,034 | 0,0038 | Mobil belirsiz, masaüstünde kontrol kalır |
| 700 (%2,33) | 0,0050 | 0,0011 | Önceden planlıysa mobil yayın savunulabilir |

Ana senaryoda (675) etkileşim, planlı analizin 0,05 eşiğini ve dört genel testin 0,0125 eşiğini geçiyor. 14 çift karşılaştırmanın 0,0036 eşiğini ise kıl payı geçemiyor.

Mobil etkinin kendisi 0,025 eşiğini geçmiyor ve bu eşiğe karşılık gelen %97,5 güven aralığı −0,01 ile +0,51 puan arasında, yani sıfırı içeriyor.

Bu verinin desteklediği karar "masaüstünde kontrolü koru, mobil için hipotezi önceden yazılmış ayrı bir test çalıştır" olur. Mobil varyant 700 siparişe çıksaydı, önceden planlanmış bir analizde mobil etki eşiği geçerdi. Aynı rakam sonradan taranmış on iki segmentten çıksaydı 0,0042 eşiğini geçemezdi. O durumda bulgu güçlü bir ipucudur ve temkinli yol, onu mobile hedeflenmiş bir testle tekrarlamaktır.

## Bir segmentteki kazanç yayına ne zaman yeter?

Bir segmentteki kazancı yayına çevirmek, varyantı yalnızca o segmente açmak ve kalıcı olarak iki deneyimi bakımda tutmak demektir. Aşağıdaki liste evrensel bir kural değil. Tüm trafikte çalışmış bir testten yalnızca bir segmente yayına geçmek için bu yazının önerdiği temkinli karar çerçevesi:

- Segment testten önce yazılmış ve atamadan önce bilinen bir özellikle tanımlanmış.
- Etkileşim testi, test edilen etkileşim hipotezi sayısına göre düzeltilmiş eşiği geçiyor.
- Segmentin kendi etkisi de kendi düzeltilmiş eşiğini geçiyor ve o eşiğe karşılık gelen güven aralığının alt sınırı iş açısından anlamlı.
- Farkı açıklayan makul bir mekanizma var, örneğin mobilde daha kısa bir formun ekrana sığması.
- SRM kontrolü toplamda ve segmentin içinde temiz, kolların segment karışımında şansın açıklayamayacağı bir fark yok.
- İki sürümü yönetmenin maliyeti, beklenen artıştan küçük.

Segmente özel yayın, o segmenti hedefleyebilen bir araç da ister. Shopify mağazalarında hangi yolun ziyaretçileri cihaza ya da segmente göre ayırabildiği [Shopify'da A/B testi yazısında](https://alidemirbas.com.tr/blog/shopify-ab-testi) anlatılıyor.

Test baştan yalnızca bir kitleye hedeflendiyse etkileşim koşulu gerekmez. Orada soru, varyantın o kitlede işe yarayıp yaramadığıdır ve başka bir segmentle farkın anlamlı çıkması şart değildir.

Tüm trafikten bir segmente geçerken koşullardan biri eksikse yapılacak iş genelde aynı: bulguyu hipotez olarak yaz ve yalnızca o segmente hedeflenmiş yeni bir test çalıştır. Bu ikinci test kendi örneklem hesabıyla planlanır. Testin ölçeği büyüdükçe bu iş [dönüşüm oranı optimizasyonu](https://alidemirbas.com.tr/blog/cro-donusum-orani-optimizasyonu) sürecinin bir parçası hâline gelir. Sonradan bulunan segmentler bir sonraki hipotez listesini besler.

## Segmentleri testten önce planlamak

Segment planı, test başlamadan önce yazılan ve hangi dilimlere hangi kurallarla bakılacağını sabitleyen kısa bir belgedir. Planın ölçtüğü birim test boyunca aynı kalmalı. Örnekte bu birim, teste ilk girdiği anda segmenti belirlenen kullanıcı, metrik de o kullanıcının test süresince en az bir sipariş verip vermediği. Planı şu sırayla kurabilirsin:

1. Her segment için bir mekanizma yaz. "Mobilde form kısaldığı için tamamlama artar" bir hipotezdir. "Mobile de bakalım" değildir.
2. Segment boyutlarını atamadan önce bilinen özelliklerden seç ve tanımını kullanıcının ilk girişinde dondur.
3. Segment sayısını sınırla ve karar için kullanılacak eşiği, örneğin Bonferroni ile, şimdiden yaz.
4. Karar verilecek her segment için örneklemi, kararda kullanacağın düzeltilmiş eşikle ayrı hesapla. Etkileşim için de ayrı bir hesap yap, çünkü genel etkinin yarısı büyüklüğündeki bir etkileşim yaklaşık 16 kat kullanıcı ister.
5. Karar kuralını yaz: etkileşim testi, segment etkisi, en küçük anlamlı artış ve iki sürümün maliyeti.
6. Trafik oranını test boyunca sabit tut, SRM kontrolünü toplamda ve her segmentte yap.
7. Plan dışında kalan tüm dilimleri "keşif" diye etiketle ve sonuç ne çıkarsa çıksın raporla.

Böyle bir plan, segment analizini sonuçtan sonra hikâye aramaktan çıkarır ve testten önce verilmiş bir karara dönüştürür. Planlı bir segmentte etkileşim ve segment etkisi birlikte eşiği geçtiğinde segmente özel yayın savunulabilir bir karardır. Eşiğe yaklaşan ama geçemeyen bulgular ise çoğu zaman iyi tanımlanmış bir sonraki testin başlangıcı olur.