Mobil uygulama

İlk kullanım ipuçları temel işlevlerin keşfini artırır mı?

Kısa ipuçları yeni kullanıcının kaçırabileceği özellikleri gösterebilir. Çok sayıda kesinti veya ilgisiz zamanda gösterilen ipucu ürünü denemeyi zorlaştırabilir. İpucu dizisini bitirmeyi değil, tanıtılan özelliklerin gerçek kullanımını ölç.

A/B test senaryosu. Bu sayfa bir test planıdır, gerçek bir deney sonucu içermez.

  • Mobil uygulama
  • Tanıtılan Özellik Kullanım Oranı

Kontrol / Varyant

Bir tarafta yok, öbüründe var.

Değişen
arayüz ipuçları
Sayfa
Mobil uygulama
Değişiklik
eklendi

İlk kullanımda arayüz ipuçları gösterilmiyor

Hipotez

Yeni kullanıcı bulunması zor işlevleri ilk kullanımda kısa baloncuklarla görürse bu işlevlere kendi başına ulaşabilir. Bu, özelliği daha önce kullanmamış uygun kullanıcılarda tanıtılan özellik kullanım oranını artırabilir.

Test planı

Ne zaman değerlendirilmeli?

Temel bir işlev yeni kullanıcılarda nadiren açılıyor, destek taleplerinde yeri soruluyor ya da oturum kayıtlarında kullanıcılar menüler arasında dolaşıyorsa, ilk kullanım ipuçlarını denemenin zamanı gelmiştir. İpuçları işe yarıyorsa onları gören kullanıcılar tanıtılan özelliği belirlenen sürede ilk kez kullanır ve ilk değerli eyleme yine ulaşır. İşlev bulunuyor ama kullanılmıyorsa sorun keşifte değil değerdedir; ipuçlarını atlanabilir kur ve kullanıcıyı ürünü denemeden önce uzun, zorunlu bir diziden geçirme.

Başarı nasıl ölçülmeli?

Tanıtılan Özellik Kullanım Oranı

Daha önce özelliği kullanmamış ve ipucu deneyine atanan uygun kullanıcılar içinde, önceden belirlenen sürede özelliği ilk kez kullananları karşılaştır.

Ayrıca izle

  • İlk Oturum Tamamlama OranıKullanıcı ilk değerli eyleme ulaşıyor mu?
  • İpucu Atlama OranıAtlamayı varyant içinde raporla; kontrolde atlanacak ipucu yoktur.
  • 7. Gün Elde TutmaRetention'ı atanan tüm kullanıcılar arasında karşılaştır.
  • İlk Oturum Terk OranıEğitim yükü çıkışı artırmamalı.

Test nasıl kurulmalı?

  • İpuçlarıÖnceden tanımlanmış tek bir arayüz ipucu seti ekle.
  • Sıraİpucu sayısını, sırasını ve metnini sabitle.
  • TetikleyiciHer ipucunun gösterileceği anı tanımlayıp kuralı koru.
  • Sonradan erişimSeçilen tekrar erişim davranışını test boyunca sabit tut.
  • KitleUygun ilk kullanıcılarla başla; güncelleme sonrası dönenler ayrı kohorttur.

Sonuç yorumlanırken nelere dikkat edilmeli?

  1. 1Tanıtılan özellik kullanımındaki artış, elde tutmaya bakmadan kazanç sayılmaz. Elde tutmayı yalnızca ipuçlarını görenlerde değil atanan tüm kullanıcılarda karşılaştır; ilk oturum terk oranı yükseliyorsa eğitim yükü kullanıcıyı uzaklaştırıyor olabilir.
  2. 2Bu bulgu bu ipucu setine, sırasına ve tetikleyicisine, uygun ilk kullanıcılara özgüdür; güncelleme sonrası dönen kullanıcılara taşımadan önce ayrı kohortta dene. İpucu atlama oranını yalnızca varyant içinde oku ve ipucu katmanının ekran okuyucuyla gezilebildiğini doğrula.
  3. 3Tanıtılan özellik doğası gereği seyrek kullanılıyorsa önceden belirlenen süre bu kullanımı yakalamaya yetmeyebilir; küçük bir fark buradan da gelebilir. Hedeflediğin farkı görmek için kaç kullanıcı gerektiğini örneklem büyüklüğü hesaplayıcısıyla hesapla; yetmiyorsa süreyi test ortasında uzatmak yerine yeni bir tur planla.

Sık Sorulan Sorular

İpucu dizisini bitiren kullanıcı oranı neden başarı ölçütü değil?

Amaç ipuçlarını izletmek değil, tanıttığın özelliklerin gerçekten kullanılmasıdır. Ana metrik, özelliği daha önce kullanmamış uygun kullanıcılar içinde önceden belirlenen sürede özelliği ilk kez kullananları karşılaştırır. İpucu atlama oranını ise yalnızca varyant içinde rapor et, çünkü kontrolde atlanacak ipucu yoktur. Kararı temel işlevi ilk kez kullanma oranı ile ver.

İpuçları yeni kullanıcıyı ürünü denemekten alıkoyabilir mi?

Olabilir, çok sayıda kesinti veya ilgisiz anda gösterilen ipucu denemeyi zorlaştırır. Bunu ilk oturum terk oranı ve ilk değerli eyleme ulaşma oranıyla kontrol et. İpuçlarını atlanabilir tut ve kullanıcıyı uzun, zorunlu bir diziden geçirme.

İlk kullanım ipuçları yalnızca yeni kullanıcılara mı gösterilmeli?

Bu testte uygunluk ilk kullanımdır. Yeni özelliği kullanmamış mevcut kullanıcılar ayrı katman ya da ayrı test olarak ele alınır. İki kitleyi ölçüm tanımı değişiyormuş gibi birleştirme.

Özellik kullanımı arttıysa testi kazanmış sayabilir miyim?

Elde tutmaya bakmadan kazandı deme. Retention'ı atanan tüm kullanıcılar arasında karşılaştır, yalnızca ipuçlarını görenler arasında değil. Ayrıca ipucu katmanının ekran okuyucuyla gezilebilir olduğunu kontrol et.