Pułapki Google Website Optimizer: Uważaj na długość testu
niedziela, 29 listopad 09, 00:00Optymalizator Witryn Google (Google Website Optimizer, GWO) to fantastyczne narzędzie, niezbędne w pracy każdego szanującego się marketera - czyli takiego, który testuje. Problem polega na tym, że poc
Usługa GWO jest mi szczególnie bliska, ponieważ kilka lat wcześniej napisałem dla swoich potrzeb narzędzie o podobnym działaniu (momentami bardziej zaawansowane, momentami znacznie prostsze), które nazwałem PMtracker.
Poniżej przykładowy wynik testu PMtrackera z uwzględnieniem kolejnych etapów zamówienia (rzecz niedostępna w GWO).
Gdy więc w maju 2008 Google zakończyło okres beta GWO, ja rozpocząłem swój pierwszy test - dokładnie 2 maja 2008 roku. Był to test A/B, a dokładnie test A/A/B, który od razu obnażył pułapkę, w jaką może wpaść każdy niedoświadczony użytkownik Google Website Optimizer.
O tym jednak w kolejnym artykule. W tym przedstawię jeszcze najbardziej typowy i niebezpieczny błąd popełniany przed niedoświadczonych marketerów.
Na czym polega testowanie?
Niezależnie od tego czy testujemy metodą A/B, czy metodą wielu wariacji, zasady są podobne. Będę trzymał się specyfiki Internetu.Spośród odwiedzających naszą stronę losujemy 2 lub więcej grup i każdej grupie wyświetlamy inną wersję naszej strony. Następnie mierzymy, ile osób z danej gruby wykonało zakładaną akcję.
Amatorzy porównują następnie wynik wersji A z wynikiem wersji B i na tej podstawie podejmują decyzje marketingowe. Pisząc "amatorzy" mam na myśli marketerów należących do bardzo wąskiego grona tych, którzy podejmują swoje decyzje na podstawie testów, a nie samej intuicji. Nie są to jednak najbardziej zaawansowani gracze.
Jest w tym prostym podejściu duże ryzyko wynikające z czynników zewnętrznych, które zawsze zakłócają wyniki. Poziom tych zakłóceń jest tym mniejszy, im dłużej trwa test.
Po ludzku. Jeśli na jedną wersję zareagowało 4 Klientów, a na drugą 8, to z tych 8, 5 mogło zareagować tylko dlatego, że weszli na naszą stronę z założeniem wykonania akcji. Dopiero odpowiednio duża grupa ludzi daje nam statystyczną pewność, że takie zewnętrzne czynniki miały marginalne znaczenie.
Więcej na ten temat napisałem dawno temu w nadal aktualnym w artykule: "Ile powinienen trwać test marketingowy?".
Google Website Optimizer od jakiegoś czasu wyświetla wykres, który ułatwi każdemu niedoświadczonemu marketerowi zrozumieć, dlaczego test powinien trwać dłużej.
Oto przykładowy wykres z trwającego 3 miesiące testu:
Wnioski doświadczonego marketera
Wiarygodne wyniki pojawiły się dopiero 23 czerwca (po blisko 2 miesiącach testu), ponieważ dopiero od tej daty proporcje pomiędzy współczynnikami konwersji są niezmienne dla każdej z wersji.Zwracam uwagę na określenie "proporcje pomiędzy współczynnikami konwersji", a nie "współczynniki konwersji".
Tak naprawdę w teście nie są ważne współczynniki konwersji konkretnych wersji, ale proporcje pomiędzy nimi. Bardzo często zdarza się taka sytuacja. Prowadzimy test. Najlepsza wersja ma 10% skuteczności. Następnie prowadzimy kolejny test i ta sama wersja ma np. 8% skuteczności, albo 15% skuteczności. Dlatego nie patrzcie na współczynniki konwersji, ale różnice pomiędzy nimi. Więcej na ten temat w artykule "case study: Znaczenie czynnika czasu w badaniach marketingowych".
Niedoświadczonych marketer mógłby po kilku dniach stwierdzić: WOW! Wersja żółta jest kilka razy skuteczniejsza od niebieskiej. A tu 2 tygodnie później mamy sytuację odwrotną. Najlepsze z tego wszystkiego jest to, że obie te wersje to ta sama strona... ale o tym w kolejnym artykule.
Podsumowując. Poza wieloma innymi zasadami, o których powiem w kolejnych artykułach, przestrzegaj poniższych:
- Obserwuj wykres współczynnika konwersji i czekaj do momentu, gdy różnice pomiędzy najskuteczniejszymi wersjami będą stałe przez dłuższy czas. Jeśli testujesz więcej wersji, nie musisz zwracać uwagi na wersje znacznie mniej skuteczne.
- Pamiętaj, że po krótkim teście wyniki mogą być o 180 stopni różne od tych, które pojawią się później. Te drugie są wiarygodniejsze.
- Współczynnik konwersji konkretnej wersji może znacznie różnić się w czasie w kolejnych testach, dlatego należy zwracać uwagę na różnice skuteczności pomiędzy wersjami, a nie ich bezwzględne wartości.
