Pułapki Google Website Optimizer: Uważaj na długość testu

niedziela, 29 listopad 09, 00:00

Optymalizator Witryn Google (Google Website Optimizer, GWO) to fantastyczne narzędzie, niezbędne w pracy każdego szanującego się marketera - czyli takiego, który testuje. Problem polega na tym, że poc

Optymalizator Witryn Google (Google Website Optimizer, GWO) to fantastyczne narzędzie, niezbędne w pracy każdego szanującego się marketera - czyli takiego, który testuje.

Google Website Optimizer

Usługa GWO jest mi szczególnie bliska, ponieważ kilka lat wcześniej napisałem dla swoich potrzeb narzędzie o podobnym działaniu (momentami bardziej zaawansowane, momentami znacznie prostsze), które nazwałem PMtracker.

Poniżej przykładowy wynik testu PMtrackera z uwzględnieniem kolejnych etapów zamówienia (rzecz niedostępna w GWO).

PMtracker - tabela wyników

Gdy więc w maju 2008 Google zakończyło okres beta GWO, ja rozpocząłem swój pierwszy test - dokładnie 2 maja 2008 roku. Był to test A/B, a dokładnie test A/A/B, który od razu obnażył pułapkę, w jaką może wpaść każdy niedoświadczony użytkownik Google Website Optimizer.

O tym jednak w kolejnym artykule. W tym przedstawię jeszcze najbardziej typowy i niebezpieczny błąd popełniany przed niedoświadczonych marketerów.

Na czym polega testowanie?

Niezależnie od tego czy testujemy metodą A/B, czy metodą wielu wariacji, zasady są podobne. Będę trzymał się specyfiki Internetu.

Spośród odwiedzających naszą stronę losujemy 2 lub więcej grup i każdej grupie wyświetlamy inną wersję naszej strony. Następnie mierzymy, ile osób z danej gruby wykonało zakładaną akcję.

Amatorzy porównują następnie wynik wersji A z wynikiem wersji B i na tej podstawie podejmują decyzje marketingowe. Pisząc "amatorzy" mam na myśli marketerów należących do bardzo wąskiego grona tych, którzy podejmują swoje decyzje na podstawie testów, a nie samej intuicji. Nie są to jednak najbardziej zaawansowani gracze.

Jest w tym prostym podejściu duże ryzyko wynikające z czynników zewnętrznych, które zawsze zakłócają wyniki. Poziom tych zakłóceń jest tym mniejszy, im dłużej trwa test.

Po ludzku. Jeśli na jedną wersję zareagowało 4 Klientów, a na drugą 8, to z tych 8, 5 mogło zareagować tylko dlatego, że weszli na naszą stronę z założeniem wykonania akcji. Dopiero odpowiednio duża grupa ludzi daje nam statystyczną pewność, że takie zewnętrzne czynniki miały marginalne znaczenie.

Więcej na ten temat napisałem dawno temu w nadal aktualnym w artykule: "Ile powinienen trwać test marketingowy?".

Google Website Optimizer od jakiegoś czasu wyświetla wykres, który ułatwi każdemu niedoświadczonemu marketerowi zrozumieć, dlaczego test powinien trwać dłużej.

Oto przykładowy wykres z trwającego 3 miesiące testu:

GWO wykres współczynnika konwersji

Wnioski doświadczonego marketera

Wiarygodne wyniki pojawiły się dopiero 23 czerwca (po blisko 2 miesiącach testu), ponieważ dopiero od tej daty proporcje pomiędzy współczynnikami konwersji są niezmienne dla każdej z wersji.

Zwracam uwagę na określenie "proporcje pomiędzy współczynnikami konwersji", a nie  "współczynniki konwersji".

Tak naprawdę w teście nie są ważne współczynniki konwersji konkretnych wersji, ale proporcje pomiędzy nimi. Bardzo często zdarza się taka sytuacja. Prowadzimy test. Najlepsza wersja ma 10% skuteczności. Następnie prowadzimy kolejny test i ta sama wersja ma np. 8% skuteczności, albo 15% skuteczności. Dlatego nie patrzcie na współczynniki konwersji, ale różnice pomiędzy nimi. Więcej na ten temat w artykule "case study: Znaczenie czynnika czasu w badaniach marketingowych".

Niedoświadczonych marketer mógłby po kilku dniach stwierdzić: WOW! Wersja żółta jest kilka razy skuteczniejsza od niebieskiej. A tu 2 tygodnie później mamy sytuację odwrotną. Najlepsze z tego wszystkiego jest to, że obie te wersje to ta sama strona... ale o tym w kolejnym artykule.

Podsumowując. Poza wieloma innymi zasadami, o których powiem w kolejnych artykułach, przestrzegaj poniższych:
  1. Obserwuj wykres współczynnika konwersji i czekaj do momentu, gdy różnice pomiędzy najskuteczniejszymi wersjami będą stałe przez dłuższy czas. Jeśli testujesz więcej wersji, nie musisz zwracać uwagi na wersje znacznie mniej skuteczne.
  2. Pamiętaj, że po krótkim teście wyniki mogą być o 180 stopni różne od tych, które pojawią się później. Te drugie są wiarygodniejsze.
  3. Współczynnik konwersji konkretnej wersji może znacznie różnić się w czasie w kolejnych testach, dlatego należy zwracać uwagę na różnice skuteczności pomiędzy wersjami, a nie ich bezwzględne wartości.
A to dopiero początek Twojej drogi Puszczenie oczka
Komentarze
Newsletter

Newsletter CzasNaE-Biznes

Cotygodniowa dawka darmowych artykułów od Piotra Majewskiego - ojca chrzestnego polskiego małego e-biznesu...

Dołącz do 97 790 czytelników