Ile głupich decyzji marketingowych już podjąłeś?

poniedziałek, 27 czerwiec 11, 13:45
Ruszyłem wczoraj z nowym testem marketingowym. Testuję 2 elementy na jednej z moich stron w teście wielu wariacji. Po ludzku oznacza to, że:
  1. mam na stronie 2 elementy - zachętę do rejestracji i formularz
  2. pierwszego elementu sprawdzam 3 różne wersje
  3. drugiego elementu 2 różne wersje
  4. czyli de facto sprawdzam 6 kombinacji mojej strony
    1. kombinacja: 1+1
    2. kombinacja: 2+1
    3. kombinacja: 3+1
    4. kombinacja: 1+2
    5. kombinacja: 2+2
    6. kombinacja: 3+2
Mam jeszcze Twoją uwagę? Puszczenie oczka OK. Są już pierwsze wyniki i są bardzo ciekawe: Głupie decyzje marketingowe - google website optimizer

Wow... można by pomyśleć. Wersja oryginalna zachęty jest 2 razy skuteczniejsza, niż pozostałe 2. To samo z oryginalną wersją formularza... eee. Błąd.

Zastawiłem pułapkę na Google Webiste Optimizera. 2 testowane wersje zachęty to identyczne kopie, a jednak pierwsza ma 4,16% konwersji, a druga 3,41% konwersji. Czyli mimo całkowitej identyczności jedna jest o ponad 20% skuteczniejsza... co jest oczywiście niemożliwe z punktu widzenia statystyki teoretycznej... i całkowicie normalne z punktu widzenia statystyki praktycznej.

Widzisz. Przy tak małej próbce czynnik ludzki może mieć ogromny wpływ na wynik. Mamy raptem 10 osób na wersji oryginalnej, 5 i 4 na wersjach testowych. Ponieważ na razie wersja oryginalna wygrywa, teoretycznie możliwe jest, że te dodatkowe 5 osób weszło na stronę oczekując tej właśnie zachęty, ponieważ ktoś im o niej powiedział. Tak właśnie działa czynnik ludzki na małych próbach.

Czy możliwe jest jeszcze, że tendencja się odwróci i wersja oryginalna okaże się mniej skuteczna?

TAK. Często widziałem takie zmiany. Dopiero odpowiednia duża próba... zaraz, moment:

Co to znaczy odpowiednio duża próba?

To znaczy, że jeśli skuteczność 2 wersji testowych, które są identyczne, się zrówna lub zrówna z zachowaniem akceptowalnego błędu, wtedy będziemy mieli odpowiednio dużą próbę. NIE, jak będzie 100, 500, 1000 czy 10 000 odwiedzających.

Nie raz widziałem, jak w wyniku testu skuteczność strony rosła o 100%. Nie raz widziałem też, jak w wyniku źle przeprowadzonego testu podejmowano głupie decyzje, a przynajmniej decyzje o wątłych fundamentach.

A teraz mam do Ciebie pytanie. Napisz mi w komentarzu poniżej:
  1. Czy testujesz w swoim biznesie?
  2. Jeśli nie, to dlaczego?
  3. Jeśli tak, na jakiej podstawie decydowałeś, że wynik jest wiarygodny?
P.S. Wybacz mocny tytuł. Na ważne sprawy trzeba mocno zwracać ludziom uwagę, aby ich dla własnego dobra nie przeoczyli Puszczenie oczka
Komentarze
Newsletter

Newsletter CzasNaE-Biznes

Cotygodniowa dawka darmowych artykułów od Piotra Majewskiego - ojca chrzestnego polskiego małego e-biznesu...

Dołącz do 92 341 czytelników