Google zastąpi Website Optimizer ułomnym Content Experiments
sobota, 9 czerwiec 12, 12:06Kilka dni temu Google napisało do mnie z fatalnym, beznadziejnym, skandalicznym newsem.
Content Experiments to część Google Analytics, która do mierzenia rezultatów testu używa tych samych Goli (Celów), które w Google Analytics mówią nam o skuteczności serwisu.
Dlaczego jest to beznadziejna informacja?
Google unifikuje 2 narzędzia i niejako usuwa duplikującą się analizę celów w Optymalizatorze i Analyticsach. Dodatkowo Content Experiments ogranicza się tylko do testów A/B lub A/B/N (można testować do 5 wersji strony) i trzeba zainstalować tylko jeden skrypt na stronie. Na pierwszy rzut oka jest to dobra wiadomość - jeden panel, prościej dla użytkownika. Wiele osób uważa Optymalizatora witryn za wyjątkowo trudne i nieprzyjazne narzędzie. Z pewnością jest w tym racja, ale do tej pory było to też wyjątkowo użyteczne narzędzie. Zmiana uczyni testy stron bardziej dostępnymi dla początkujących, ale na dobrą sprawę kończy zabawę z testowaniem dla profesjonalistów. Powiem Wam dlaczego.Pierwsze primo - bajzel
Wcześniej mieliśmy jeden panel z wszystkimi testami dla wszystkich naszych stron. Teraz będzie trzeba wejść w Google Analytics w konkretną domenę, a następnie w test. Dla kogoś, kto prowadzi wiele testów na wielu domenach i czasami nie pamięta o wszystkich - bo na przykład ze względu na mały ruch trwają długo - będzie to uciążliwe. Ale to najmniejszy problem.Drugi primo 
- testy A/B w wydaniu Google są BEZNADZIEJNE
W 2008 roku odkryłem bardzo niefortunną i dyskwalifikującą wadę testów A/B w wydaniu Google. Najpierw pokazałem ją uczestnikom kursu Niewidzialne Techniki Sprzedaży, a w 2009 opisałem na CNEB: Pułapki Google Website Optimizer: Uważaj na Test A/B. W rezultacie całkowicie je zarzuciłem na korzyść testów Wielu Wariacji.
Dlaczego?
Testy A/B w wydaniu Google polegają na tym, że na stronie podstawowej (Oryginalnej lub Kontrolnej) umieszczamy kod JavaScript, który losuje odwiedzającym czy mają zobaczyć tę stronę, czy zostać przekierowani na wersję testową.
Testy wielu wariacji w wydaniu Google również polega na umieszczeniu kodu na stronie podstawowej, ale zamiast przekierowania na wersję testową, kod ten podmieniał wybrane przez nas elementy strony podstawowej na testowe.
Różnica jest KOLOSALNA.
Po pierwsze w teście wielu wariacji mogliśmy osiągnąć wiarygodne wyniki szczątkowe - tj. dotyczące konkretnego elementu strony - zanim wyniki dla całych kombinacji stały się wiarygodne. Dodatkowo wiedzieliśmy, które elementy strony mają istotny wpływ na skuteczność, a które nie.
W testach A/B otrzymujesz wynik tylko zbiorczy dla całej kombinacji (strony testowej). Aby więc przetestować kilka elementów musisz przeprowadzić kilka testów dla każdego elementu osobny. W testach wielu wariacji wystarczył jeden, rozległy test.
Jest jeszcze większy problem. Spójrz wyżej. Pogrubiłem słowo "przekierowani". Testy A/B przekierowują na inną stronę. Testy wielu wariacji podmieniają elementy stron. Niestety przekierowanie widać! Widać w pasku adresu i widać to, że strona się przeładowuje - taka uroda JavaScript.
Przekierowanie ma kolosalny wpływ. Mój Klient (dziękuję Ci Andrzeju za te dane), podesłał mi wykresy z Google Website Optimizera z pytaniem, skąd wzięły się takie wyniki:
Już tłumaczę, co na tych zrzutach ekranu widać. U góry są wykresy pokazujące, jak zmienia się skutecznośc w czasie. Jeśli dziwisz się dlaczego różnice na początku były tak duże, a z czasem się wyrównały, to polecam też artykuł:  Ile głupich decyzji marketingowych już podjąłeś? oraz Pułapki Google Website Optimizer: Uważaj na długość testu, które pomogą Ci ustrzec się przed bardzo łatwym do popełnienia błędem, który przy okazji czyni wyniki Twoich testów bezużytecznymi.
Nas bardziej interesują tebelki. Mamy tutaj 2 niezależne od siebie testy. W obu widać:
- Original - czyli wersję podstawową, zwaną przez marketingowców kontrolną lub z angielskiego "controlem".
- Wersje 1 i 2 oraz Odmiany m i l - czyli po dwie inne wersje strony kontrolnej, które chcemy porównać.
- Kontrolna i Kontrolna_c - czyli dokładne kopie wersji kontrolnej (Original) wprowadzone przez Andrzeja zgodnie z zaleceniami ze wspomnianych artykułów i kurus.
ClickTale to inne, zaawansowane narzędzie do analityki na stronach www. Widzisz różnicę? Jeśli wersja Oryginalna ładowała się w 1.31 sekundy a jej dokładna kopia w 7.44 sekund, to ich skuteczność musiała być różna. Skoro Internauta widzi (przekierowanie) i czuje (czas ładowania), że bierze udział w teście, to jego zachowanie jest NIEMIARODAJNE! We wspomnianych artykułach pisałem, że aby ustalić optymalną długość testu najlepiej oprócz wersji kontrolnej (oryginalnej) i wersji testowych, wprowadzić też dokładną kopię wersji kontrolnej, jako opcję testowaną. Ze statystyki wynika, że jeśli obie wersje są takie same, to powinny mieć taką samą skuteczność. Testując więc w ten sposób (A/A/B) czekamy aż skuteczność wersji A i jej kopii się zrówna (i utrzyma) i wtedy wiemy, że test jest wiarygodny. Tylko, że z moich testów i z powyższych przykładów wynika jasno, że w testach A/B z przekierowaniem statystyka nie działa, jak powinna. Zarówno mi, jak i moim Klientom, testy A/A/B robione przez Google wykazywały poważny błąd. Mianowicie kopia strony oryginalnej zawsze miała znacząco inną skuteczność, niż wersja oryginalna - nawet, gdy Google uznało test za wiarygodny. Winne jest przekierowanie, które ludzie widzą i w rezultacie zachowują się inaczej.Podpiąłem ClickTale i mam ciekawe wyniki:Originalna - czas ładowania 1.31 sec Wersja_c.php - czas ładowania2.53 sec Wersja_m.php - czas ładowania7.07 sec Kontrolna_l.php - czas ładowania7.44 sec Â