První částí hodnocení byla analýza e-shopů na základě připravené metodiky. 3 analytici (nikoliv účastníci uživatelského testování) ohodnotili každý zvlášť metriky nezávislé na uživatelském testování nebo na dalších měřeních. Shodné výsledky analytiků jsme poté konzultovali se všemi experty. Bližší popis metrik, kde bylo vyžadováno měření je níže.
Nejnáročnější z celé přípravy Českého košíku roku byla příprava a realizace téměř 900 uživatelských testů. V zadání uživatelského testu dostalo 8 lidí úkol: “kupte si tento produkt” (zvlášť v každém e-shopu).
Demografické složení uživatelského testování:
Žena 20–25 let student
Žena 25–30 let matka na mateřské
Žena 25–30 let administrativa
Žena 40–45 let administrativa
Muž 18–23 let student
Muž 25–30 let podnikatel
Muž 30–35 let manažer
Muž 35–40 let obchodník
Celý proces probíhal v oddělené klidné místnosti, kde jsme nahrávali pohyby na obrazovce a natáčeli jsme interakce každého účastníka testu (včetně zvukové stopy).
*Poznámka: V průběhu uživatelských testů byla v místnosti stálá teplota a vlhkost vzduchu, aby nedošlo ke zkreslení výsledků. :-)
U testování bylo na první pohled vidět, kdy byl uživatel v nákupním procesu ztracený, a kdy pro něj bylo vše jednoduché a pochopitelné.
Úkolem bylo zakoupit 1 produkt v každém ze 110 vybraných e-shopů. Součástí zadání bylo platit bankovním převodem a objednat dopravu přes Českou poštu (v případě, kdy nebyla jedna z možností k dispozici, měl uživatel za úkol vybrat si libovolnou alternativu). Každý uživatel měl k dispozici nově založený uživatelský profil, aby ho netrápilo např. automatické vyplňování.
Poznámka: První reakce z nákupu pro nás byla velmi důležitá pro validaci našich výsledků – srovnali jsme výsledky metodiky s pocity účastníků testování a tím jak byli v průběhu nákupu “zmatení”.
Každý účastník dostal unikátně vygenerované náhodné pořadí testovaných e-shopů, aby jím nebyl nikdo ovlivněn.
Na zákaznické podpory e-shopů jsme poslali dvě jednoduché otázky. V úterý dopoledne nás zajímalo, jaké jsou možnosti vrácení zboží. Ve čtvrtek odpoledne jsme se ptali, zda lze platit poštovní poukázkou. E-shopy jsme oslovili z e-mailových adres na doméně Gmail. Všechny adresy obsahovaly jméno a příjmení, dotazy tak působily velmi věrohodně a e-shopy neměly šanci zjistit, že se jedná o test.
Pro testování rychlosti načtení stránky jsme využili 2 nástroje – Google PageSpeed Insights a Pingdom – pomocí nichž jsme weby otestovali v úterý odpoledne a ve čtvrtek ráno, abychom měli časově dostatečně reprezentativní výsledky.
Pro testování přístupnosti jsme použili nástroj Wave – web accessibility evaluation tool.
Rozostřili jsme vyfocenou obrazovku prvního kroku nákupního procesu a zjišťovali jsme, zda je výzva k akci (“call-to-action”) i tak jednoznačně viditelná. Další část tohoto testu souvisela s uživatelskými testy, kdy jsme zjišťovali, zda kromě přehlednosti tlačítek jsou i jasné jejich popisky. Např. z popisku tlačítka “Uzavřít objednávku” pro naznačení pokračování v objednávce (výběr dopravy a platby) byli uživatelé zmatení.
Na grafu jsme si vyobrazili jednotlivé e-shopy (modré body na grafu níže), jejich bodové ohodnocení naší metodikou (vertikální osa) a subjektivní hodnocení uživatelských testů (horizontální osa) a vidíme trend (oranžová křivka) – čím vyšší hodnocení metodikou, obecně tím lepší subjektivní hodnocení. Zelená křivka nám ukazuje, jak by vypadala ideální lineární závislost těchto 2 metrik, slouží jen pro porovnání s námi zjištěným trendem.
pro vás vytvořilo Twisto.cz.