Bu yazıda neler var?
A/B testi, iki seçeneği belirli bir hipotez üzerinden karşılaştırmayı amaçlar. Bir tasarımı tamamen değiştirip satışın arttığını görmek, hangi ayrıntının etkili olduğunu söylemez.
Hipotezi açık yazın
“Teklif düğmesinin kapsamı açıklayan bir metinle sunulması uygun başvuruları artırabilir” gibi sınanabilir bir düşünce kurun. Ölçülecek sonucu ve karşılaştırılacak koşulları önceden belirleyin.
Test öncesi
- Ölçüm doğru çalışıyor mu?
- Varyasyonlar aynı hedefe mi sahip?
- Trafik ve tarih koşulları karşılaştırılabilir mi?
- Sonuç yorumlamak için yeterli gözlem var mı?
Küçük veride dikkat
Birkaç işlemden çıkan büyük yüzde farkı tesadüfi olabilir. Her işletmede aynı test süresi veya örnek büyüklüğü yeterli değildir. İstatistiksel yeterliliği değerlendiremiyorsanız sonucu kesin kanıt gibi sunmayın.
Sonuçtan öğrenin
Kazanan varyasyonun neden etkili olabileceğini not edin, fakat bunu tüm sayfalara otomatik taşımayın. Bir hizmette işe yarayan mesaj başka hizmette farklı beklenti oluşturabilir. Test başarısız olsa bile müşterinin davranışı hakkında yararlı bilgi üretebilir; bunu sonraki hipoteze dönüştürün.
Test kartı yazın
Değişecek öğeyi, beklenen etkiyi ve başarı ölçümünü tek kartta toplayın. Örneğin form açıklamasını sadeleştirmekle tamamlanan uygun başvuruların artması arasında bir hipotez kurabilirsiniz. Başarı ölçütünü sonuç geldikten sonra değiştirmeyin.
Test sırasında başka büyük değişiklikler yapıldıysa bunları kaydedin. Yeni kampanya veya farklı trafik, sonucu etkileyebilir. Bulguyu yorumlarken bu koşulları saklamak yerine açıkça belirtin; belirsiz bir sonuç da sonraki test için bilgi sağlar.