Wow... można by pomyśleć. Wersja oryginalna zachęty jest 2 razy skuteczniejsza, niż pozostałe 2. To samo z oryginalną wersją formularza... eee. Błąd.

Zastawiłem pułapkę na Google Webiste Optimizera. 2 testowane wersje zachęty to identyczne kopie, a jednak pierwsza ma 4,16% konwersji, a druga 3,41% konwersji. Czyli mimo całkowitej identyczności jedna jest o ponad 20% skuteczniejsza... co jest oczywiście niemożliwe z punktu widzenia statystyki teoretycznej... i całkowicie normalne z punktu widzenia statystyki praktycznej.

Widzisz. Przy tak małej próbce czynnik ludzki może mieć ogromny wpływ na wynik. Mamy raptem 10 osób na wersji oryginalnej, 5 i 4 na wersjach testowych. Ponieważ na razie wersja oryginalna wygrywa, teoretycznie możliwe jest, że te dodatkowe 5 osób weszło na stronę oczekując tej właśnie zachęty, ponieważ ktoś im o niej powiedział. Tak właśnie działa czynnik ludzki na małych próbach.

Czy możliwe jest jeszcze, że tendencja się odwróci i wersja oryginalna okaże się mniej skuteczna?

TAK. Często widziałem takie zmiany. Dopiero odpowiednia duża próba... zaraz, moment:

Co to znaczy odpowiednio duża próba?

To znaczy, że jeśli skuteczność 2 wersji testowych, które są identyczne, się zrówna lub zrówna z zachowaniem akceptowalnego błędu, wtedy będziemy mieli odpowiednio dużą próbę. NIE, jak będzie 100, 500, 1000 czy 10 000 odwiedzających.

Nie raz widziałem, jak w wyniku testu skuteczność strony rosła o 100%. Nie raz widziałem też, jak w wyniku źle przeprowadzonego testu podejmowano głupie decyzje, a przynajmniej decyzje o wątłych fundamentach.

A teraz mam do Ciebie pytanie. Napisz mi w komentarzu poniżej:

1. Czy testujesz w swoim biznesie?
2. Jeśli nie, to dlaczego?
3. Jeśli tak, na jakiej podstawie decydowałeś, że wynik jest wiarygodny?

P.S. Wybacz mocny tytuł. Na ważne sprawy trzeba mocno zwracać ludziom uwagę, aby ich dla własnego dobra nie przeoczyli