Mobil uygulama
İlk kullanım ipuçları temel işlevlerin keşfini artırır mı?
Kısa ipuçları yeni kullanıcının kaçırabileceği özellikleri gösterebilir. Çok sayıda kesinti veya ilgisiz zamanda gösterilen ipucu ürünü denemeyi zorlaştırabilir. İpucu dizisini bitirmeyi değil, tanıtılan özelliklerin gerçek kullanımını ölç.
A/B test senaryosu. Bu sayfa bir test planıdır, gerçek bir deney sonucu içermez.
- Mobil uygulama
- Tanıtılan Özellik Kullanım Oranı
Kontrol / Varyant
Bir tarafta yok, öbüründe var.
- Değişen
- arayüz ipuçları
- Sayfa
- Mobil uygulama
- Değişiklik
- eklendi
İlk kullanımda arayüz ipuçları gösterilmiyor
İlk kullanımda arayüz ipuçları (baloncuklar) gösteriliyor
İlk kullanımda arayüz ipuçları gösterilmiyor
İlk kullanımda arayüz ipuçları (baloncuklar) gösteriliyor
Hipotez
Yeni kullanıcı bulunması zor işlevleri ilk kullanımda kısa baloncuklarla görürse bu işlevlere kendi başına ulaşabilir. Bu, özelliği daha önce kullanmamış uygun kullanıcılarda tanıtılan özellik kullanım oranını artırabilir.
Test planı
Ne zaman değerlendirilmeli?
Temel bir işlev yeni kullanıcılarda nadiren açılıyor, destek taleplerinde yeri soruluyor ya da oturum kayıtlarında kullanıcılar menüler arasında dolaşıyorsa, ilk kullanım ipuçlarını denemenin zamanı gelmiştir. İpuçları işe yarıyorsa onları gören kullanıcılar tanıtılan özelliği belirlenen sürede ilk kez kullanır ve ilk değerli eyleme yine ulaşır. İşlev bulunuyor ama kullanılmıyorsa sorun keşifte değil değerdedir; ipuçlarını atlanabilir kur ve kullanıcıyı ürünü denemeden önce uzun, zorunlu bir diziden geçirme.
Başarı nasıl ölçülmeli?
Tanıtılan Özellik Kullanım Oranı
Daha önce özelliği kullanmamış ve ipucu deneyine atanan uygun kullanıcılar içinde, önceden belirlenen sürede özelliği ilk kez kullananları karşılaştır.
Ayrıca izle
- İlk Oturum Tamamlama OranıKullanıcı ilk değerli eyleme ulaşıyor mu?
- İpucu Atlama OranıAtlamayı varyant içinde raporla; kontrolde atlanacak ipucu yoktur.
- 7. Gün Elde TutmaRetention'ı atanan tüm kullanıcılar arasında karşılaştır.
- İlk Oturum Terk OranıEğitim yükü çıkışı artırmamalı.
Test nasıl kurulmalı?
- İpuçlarıÖnceden tanımlanmış tek bir arayüz ipucu seti ekle.
- Sıraİpucu sayısını, sırasını ve metnini sabitle.
- TetikleyiciHer ipucunun gösterileceği anı tanımlayıp kuralı koru.
- Sonradan erişimSeçilen tekrar erişim davranışını test boyunca sabit tut.
- KitleUygun ilk kullanıcılarla başla; güncelleme sonrası dönenler ayrı kohorttur.
Sonuç yorumlanırken nelere dikkat edilmeli?
- 1Tanıtılan özellik kullanımındaki artış, elde tutmaya bakmadan kazanç sayılmaz. Elde tutmayı yalnızca ipuçlarını görenlerde değil atanan tüm kullanıcılarda karşılaştır; ilk oturum terk oranı yükseliyorsa eğitim yükü kullanıcıyı uzaklaştırıyor olabilir.
- 2Bu bulgu bu ipucu setine, sırasına ve tetikleyicisine, uygun ilk kullanıcılara özgüdür; güncelleme sonrası dönen kullanıcılara taşımadan önce ayrı kohortta dene. İpucu atlama oranını yalnızca varyant içinde oku ve ipucu katmanının ekran okuyucuyla gezilebildiğini doğrula.
- 3Tanıtılan özellik doğası gereği seyrek kullanılıyorsa önceden belirlenen süre bu kullanımı yakalamaya yetmeyebilir; küçük bir fark buradan da gelebilir. Hedeflediğin farkı görmek için kaç kullanıcı gerektiğini örneklem büyüklüğü hesaplayıcısıyla hesapla; yetmiyorsa süreyi test ortasında uzatmak yerine yeni bir tur planla.
Sık Sorulan Sorular
İpucu dizisini bitiren kullanıcı oranı neden başarı ölçütü değil?
Amaç ipuçlarını izletmek değil, tanıttığın özelliklerin gerçekten kullanılmasıdır. Ana metrik, özelliği daha önce kullanmamış uygun kullanıcılar içinde önceden belirlenen sürede özelliği ilk kez kullananları karşılaştırır. İpucu atlama oranını ise yalnızca varyant içinde rapor et, çünkü kontrolde atlanacak ipucu yoktur. Kararı temel işlevi ilk kez kullanma oranı ile ver.
İpuçları yeni kullanıcıyı ürünü denemekten alıkoyabilir mi?
Olabilir, çok sayıda kesinti veya ilgisiz anda gösterilen ipucu denemeyi zorlaştırır. Bunu ilk oturum terk oranı ve ilk değerli eyleme ulaşma oranıyla kontrol et. İpuçlarını atlanabilir tut ve kullanıcıyı uzun, zorunlu bir diziden geçirme.
İlk kullanım ipuçları yalnızca yeni kullanıcılara mı gösterilmeli?
Bu testte uygunluk ilk kullanımdır. Yeni özelliği kullanmamış mevcut kullanıcılar ayrı katman ya da ayrı test olarak ele alınır. İki kitleyi ölçüm tanımı değişiyormuş gibi birleştirme.
Özellik kullanımı arttıysa testi kazanmış sayabilir miyim?
Elde tutmaya bakmadan kazandı deme. Retention'ı atanan tüm kullanıcılar arasında karşılaştır, yalnızca ipuçlarını görenler arasında değil. Ayrıca ipucu katmanının ekran okuyucuyla gezilebilir olduğunu kontrol et.
Mobil uygulama kategorisinden diğer testler
Tüm testlerİzin öncesi açıklama ekranı onay oranını artırır mı?
Mobil uygulamaNet İzin Kabul Oranı
Açıklama, sistem isteği açılmadan önce iznin yararını değerlendirmeyi kolaylaştırabilir. Ancak erteleme veya çıkış yaşanabilecek ek bir adım da getirir. Sistem penceresine ulaşanlarda daha yüksek kabul yalnızca bu seçilimi yansıtabilir; akışı tüm atanan kullanıcılardaki izinle değerlendir.
Duruma göre sonraki adım önermek ilgili aksiyonun tamamlanmasını artırır mı?
Mobil uygulamaÖnerilen Sonraki Adımı Tamamlama Oranı
Tamamlanan işe göre öneri sunmak kullanıcıyı ilgili sonraki aksiyona yönlendirebilir. Yanlış durum bilgisi ise bitmiş veya gereksiz bir görevi önerebilir. Önerinin kendisi değiştiği için tamamlamayı iki kolda da aynı önceden tanımlı durum–aksiyon eşleştirmesine göre değerlendir.
Profil tamamlama yüzdesi göstermek eksik alanları doldurtuyor mu?
Mobil uygulamaProfil Tamamlama Oranı
İlerleme göstergesi kayıt sonrasında eksik profil alanlarını görünür kılar. Kullanıcıyı dönüp doldurmaya teşvik edebilir, ancak isteğe bağlı bilgi isteğe bağlı kalmalıdır. Tamamlanmış profil tanımını değiştirmek yerine aynı tanımlı alan setinin dolmasını ölç.
