A/B Test Kütüphanesi
Test et, öğren, geliştir
Deney fikrini test planına çevirmek için hazırlanmış senaryolar. Her biri problemi, değişecek tek alanı, sonucu belirleyecek metriği ve korunması gereken guardrail'leri birlikte gösterir.
- Kanıtı bul
- Deneyi çerçevele
- Sonucu oku
Kanıt
Önce kanıtı bul, sonra sayfaya göre daralt.
Önce analitik, araştırma ya da müşteri geri bildirimiyle problemin yerini bul. Sonra kütüphaneyi deneyimin o bölümüne göre daralt ve gözlemine uyan senaryoyu seç.
Hipotez
Varyantı kurmadan önce hipotezi yaz.
Gözlenen problemi, yardımcı olmasını beklediğin değişikliği ve hareket etmesini beklediğin sonucu yaz. Ardından tek değişkeni değiştir, deneyimin geri kalanını sabit tut.
Değişen tek şey:Kupon kodu alanı
Kupon kodu alanı sepette açık, doğrudan görünür bir kutu
Kupon alanı “İndirim kodum var” bağlantısı arkasında gizli
Sepetin geri kalanı iki tarafta da aynıdır.
211 senaryonun her birinde A ve B tarafı böyle yazılı
Guardrail'ler
Neyin bozulmaması gerektiğine baştan karar ver.
Marj, iade oranı, kupon kullanımı, erişilebilirlik ya da deneyimin başka önemli bir tarafı zarar görüyorsa artış tek başına başarı değildir. Sonuca bakmadan önce guardrail'leri belirle.
- Kupon alanını tamamen kaldırma; kodu olan kullanıcı öfkelenir.
- Geçersiz kod hatasını belirsiz bırakma.
- Test sırasında aktif kampanya kurma ya da kaldırma.
- Kupon alanını fark edilmez hâle getirecek kadar gizleme.
- Aynı testte hem konumu hem metni değiştirme.
Kütüphane
Gözlemlediğin probleme uyan senaryoyu bul.
Kategoriye ve sayfaya göre filtrele. Her kayıtta hipotez, değişen alan, birincil KPI ve guardrail'ler birlikte yer alır.
Değişen:alan etiketi konumu
Etiketler alanın üstünde mi, solunda mı durmalı?
Karar metriği Form Tamamlama Oranı
Senaryoyu açDeğişen:birincil CTA teklifi
İkinci demo CTA’sı nitelikli fırsatları artırır mı?
Karar metriği Nitelikli Fırsat Oranı
Senaryoyu açDeğişen:ana CTA konumu
Ana CTA ilk ekranda mı görünmeli?
Ana sayfa ve landing
Karar metriği Ana Aksiyon Tamamlama Oranı
Senaryoyu açDeğişen:görsel sayısı
Tek ürün görseli mi, dört farklı açı mı daha etkili?
Ürün detay sayfası
Karar metriği Dönüşüm Oranı (CR)
Senaryoyu açDeğişen:kupon kodu alanı
Kupon alanını bağlantı arkasına almak checkout performansını etkiler mi?
Sepet ve ödeme
Karar metriği Ziyaretçi Başına Gelir (RPV)
Senaryoyu açDeğişen:plan sayısı
Fiyat planı sayısı geliri nasıl etkiler?
Karar metriği Ziyaretçi Başına Gelir (RPV)
Senaryoyu açNasıl çalışır
Kanıttan karara ilerle.
Gerçek bir gözlemden uygulanabilir bir sonuca uzanan üç adım.
Kanıtı bul
Bir probleme işaret eden davranış verisi, araştırma bulgusu ya da müşteri geri bildirimiyle başla.
8 senaryo bu sayfada
Deneyi çerçevele
Hipotezi yaz, tek değişkeni değiştir, birincil KPI'ı ve guardrail'leri baştan seç.
Kupon alanı “İndirim kodum var” bağlantısı arkasında gizli
control / variant · öğe
Sonucu oku
Planlanan örneklemi, istatistiği ve guardrail'leri birlikte değerlendir. Büyük görünen bir artış hâlâ gürültü olabilir.
5.00%
250 / 5.000
5.80%
290 / 5.000
- Artış
- +16.0%
- p-değeri
- 0.0768
iki oranlı z-testi
Bu sitenin kendi Anlamlılık hesaplayıcısından işlenmiş bir örnek: eşiği geçemeyen %16'lık bir artış.
Kurallar
Geçerli bir test için beş kural
Tek değişkeni değiştir
Her kontrol ve varyant çifti yalnızca bir şeyi değiştirir. Birden fazla değişken test edilecekse ayrı testlere bölünür; aksi durumda sonucun hangi değişiklikten geldiği bilinemez.
Tek birincil metrik
Listedeki ilk KPI kazananı belirler. Beş metriği eşit önemde sunmak, kaybeden bir testi kazanan ilan etmenin en kolay yoludur.
Her testte bir guardrail tanımla
Her senaryo, bozulmaması gereken en az bir metrikle gelir: marj, iade oranı, hız, destek talebi. Bir değişiklik erişilebilirliği etkileyebilecekse, o da bir guardrail adayıdır.
Güvenlik adımlarını kaldırmayı test etme
CAPTCHA, kimlik veya yaş doğrulama, iki adımlı giriş, yasal onay adımları: istense bile hiçbir zaman kaldırılacak sürtünme olarak önerilmez. Bunlar koruma içindir, dönüşüm için değil; eklenti bunu söyler ve senaryo üretmez.
Kanıtın gücünü açıkça belirt
Her öneri, arkasındaki kanıtın ne kadar güçlü olduğunu söyler: kullanıcının kendi verisi, arşiv emsali, sektör örüntüsü ya da sezgi. Zayıf kanıtlı bir fikir yine sunulabilir ama asla kesinmiş gibi giydirilmez.
Kurulum
- 1
Eklentiyi Claude Code'a ekle
/plugin marketplace add ali-demirbas/ab-test-playbook/plugin install ab-test-playbook@ab-test-playbook - 2
Repoyu oku ya da demoyu dene
Sorular
Sık sorulan sorular
Cevaplar eklentinin kendi metodoloji dokümanlarından, dış kaynaklardan değil.
İlk olarak neyi A/B test etmeliyim?
Adayları içgüdüyle değil ICE (Etki × Güven × Kolaylık) ile sırala. Yüksek trafikli bir sayfada düşük efor gerektiren bir test, düşük trafikli bir sayfadaki iddialı bir testten daha iyidir.
Bir A/B test için kaç ziyaretçiye ihtiyacım var?
Kestirme bir kural yok. Gerçek baz dönüşüm oranından ve önemsediğin minimum etki büyüklüğünden hesaplanır. Trafik verisi olmadan süre veya örneklem vaadi verilmez.
Sonuçlara erken bakıp anlamlı göründüğünde durabilir miyim?
Bir testi tekrar tekrar kontrol edip anlamlı göründüğü an durmak, gerçek bir fark olmasa bile yanlış pozitif oranını %5'in çok üzerine çıkarır. Örneklem büyüklüğünü veya süreyi baştan belirle, bir kez bak. Tek istisna: bir guardrail metriğinin test ortasında gözle görülür şekilde bozulması.
Neden en az iki tam hafta test çalıştırmalıyım?
İstatistiksel güç için değil, kapsama için. Hafta içi ve hafta sonu davranışı ve maaş günü etkilerinin veride temsil edilmesi gerekir, örneklem hedefine üç günde ulaşılsa bile.
Bir sonucu geçersiz kılan yaygın A/B test hataları nelerdir?
Aynı testte birden fazla değişkeni değiştirmek; ilk günlerin verisinden kazanan ilan etmek; bir fiyat testinde yalnızca dönüşüm oranına bakmak (CR artarken ziyaretçi başına gelir düşebilir); gerçek sayfa test edilirken 'Varyant A'yı yeniden tasarlamak; aynı sayfaya çakışan trafikte iki test çalıştırmak.
Bu kütüphane her ürün için doğru araç mı?
Kütüphanenin kendisi de öyle demiyor. B2C e-ticaret, tüketici mobil uygulamaları ve gerçek haftalık trafiği olan self-serve SaaS için uyar. Düşük trafikli kurumsal satış sayfaları, uzun satış döngüleri veya ağır regüle akışlar için daha az uyar; onlar için niteliksel yöntemlere işaret eder.
Yaptığım işler seninkilerle kesişiyorsa konuşalım.
Growth, CRM, ölçümleme ya da buradaki projelerden biri hakkında yazabilirsin. Bir soru, bir itiraz ya da sadece merhaba; hepsi olur.