Dilema výberu vzorky: ako testovať zmeny produktu v e-shope
Minulý týždeň sme mali jednu z tých diskusií o A/B testovaní, ktoré sa tvária jednoducho, kým sa z nich nestane niečo zaujímavejšie. Otázka znela: „Ako by ste otestovali zmenu, ktorá sa týka iba zľavnených produktov?“
Zadanie vyzeralo priamočiaro. Vylepšujeme, ako na produktových kartách komunikujeme zľavy: lepšie štítky, prehľadnejšia cena, klasika. Chceme merať záujem (kliky na produkt) a mieru pridávania do košíka, ale iba pri zľavnených produktoch. Háčik? V ponuke je v danej chvíli v zľave len zhruba 10 - 15 % sortimentu.
Zjavná odpoveď a námietka
Prvý inštinkt je filtrovať. Test pustiť na všetkých, ale vyhodnocovať iba používateľov, ktorí interagujú so zľavnenými produktmi. Je to čisté a cielené. Porovnávate jablká s jablkami: ľudí, ktorí videli zľavnené produkty vo variante A, s tými, ktorí ich videli vo variante B.
Lenže tu sa to začína komplikovať. Zmena produktových kariet sa objaví všade: na úvodnej stránke, v kategóriách, vo vyhľadávaní. Nemeníte len vzhľad zľavnených produktov. Môžete meniť to, ako ľudia vnímajú celú stránku.
Jeden z nás (dobre, bol som to ja) namietol: „A čo ak táto zmena zníži záujem o produkty za plnú cenu a spôsobí problém s tržbami?“
Čo ak nové lesklé štítky so zľavou odvedú pozornosť od produktov za plnú cenu? Čo ak sa ľudia začnú sústrediť na zľavy a celkové tržby klesnú, hoci záujem o zľavy vzrastie? Čo ak štítky zmenia, ako ľudia vnímajú hodnotu produktov, naučia ich čakať na výpredaje alebo presunú návštevnosť nečakaným smerom?
Ak vyhodnotíte len tých, ktorí klikli na zľavnené produkty, všetko toto vám uniká:
- ľudia, ktorí by kúpili za plnú cenu, ale zľavy ich odpútali
- zmeny v celkovom správaní pri prehliadaní
- posun v štruktúre nákupov: viac zľavnených, menej za plnú cenu
- skutočný dopad na tržby a maržu
Táto otázka zmenila pohľad na celú vec. Nejde len o test zľavnených produktov. Je to merchandisingová zmena, ktorá ovplyvní celý nákupný zážitok.
Ako sme sa rozhodli
Rozhodli sme sa takto: test pustíme na všetkých a hlavnou metrikou budú tržby. Záujem o zľavnené produkty rozoberieme až dodatočne, a to po tom, čo potvrdíme, že zmena neškodí výsledkom.
Rozhodovací strom:
┌─────────────────────────────────────────────┐
│ Does the change appear on multiple pages? │
└──────────────┬──────────────────────────────┘
│
┌──────┴──────┐
│ │
YES NO
│ │
▼ ▼
┌─────────┐ ┌──────────────────────────────┐
│ FULL │ │ Can it affect behavior on │
│ SAMPLE │ │ unchanged pages? │
└─────────┘ └──────────┬───────────────────┘
│
┌──────┴──────┐
│ │
YES NO
│ │
▼ ▼
┌─────────┐ ┌──────────┐
│ FULL │ │ FILTER │
│ SAMPLE │ │ COHORT │
└─────────┘ └──────────┘Prečo? Pretože čo nemeriame, to nevieme.
Filtrovanie na vybranú skupinu by nám dalo presné čísla o záujme o zľavnené produkty. Úplne by nám však uniklo, čo sa deje s produktmi za plnú cenu, s celkovými tržbami a so štruktúrou nákupov. A práve to je pre biznis dôležité.
Áno, účinok sa takto zachytáva ťažšie. Dopad sa rozpustí medzi všetkých používateľov, nielen medzi tých, ktorí interagujú so zľavnenými produktmi, takže test musí bežať dlhšie, aby sme menší celkový efekt potvrdili s istotou. Zato však meriame skutočný dopad na biznis, nie optimalizáciu jedného segmentu, ktorá môže poškodiť celkový výkon.
Ako o tom premýšľame dnes
Hlavný záver z diskusie: nejde o pravidlo „všetko testovať na všetkých“. Ide o to zistiť, či zmena môže mať nepriame účinky.
| Scenár | Výber vzorky | Prečo |
|---|---|---|
| Štítok so zľavou (na celom webe) | Celá vzorka | Vizuálna zmena ovplyvní vzhľad celej stránky |
| Vyhľadávací algoritmus | Filter na 5 % ľudí, ktorí vyhľadávajú | Izolovaná funkcia bez nepriamych účinkov na iné časti webu |
| Redizajn PDP (všetky PDP) | Filter na 60 % ľudí, ktorí navštívia PDP | Zmena zasiahne len návštevníkov PDP |
| Checkout | Filter na 15 % ľudí, ktorí sa dostanú do checkoutu | Izolované na používateľov checkoutu |
Prečo sme v tomto prípade potrebovali celú vzorku:
Štítky so zľavou sa zobrazujú všade: na úvodnej stránke, v kategóriách, v detaile produktu aj vo vyhľadávaní. Je to vizuálna zmena, ktorá mení vzhľad celého webu. Reálne hrozí, že odvedie pozornosť od produktov za plnú cenu alebo povedie ľudí k nákupu zľavnených produktov namiesto nich. Netestujeme len záujem o zľavy. Testujeme, ako tieto zmeny ovplyvnia nákupné správanie ako celok a skladbu tržieb.
Kedy testovať na celej vzorke:
Zahrňte všetkých, keď:
- zmena sa objaví na viacerých stránkach alebo v rôznom kontexte (naše štítky so zľavou sú na celom webe)
- ide o zmeny na celom webe, napríklad redizajn hlavičky alebo navigácie
- zmena môže svojím vzhľadom alebo presmerovaním pozornosti ovplyvniť aj produkty, na ktoré nie je zacielená, presne ako sme sa báli pri produktoch za plnú cenu
- biznisu záleží na presune medzi kategóriami alebo segmentmi
Kedy filtrovať na relevantnú skupinu:
Filtrujte, keď ide o skutočne izolovanú funkciu:
- Testujete zmenu vyhľadávacieho algoritmu? Ak vyhľadávanie používa len 5 % ľudí, nemá zmysel do analýzy ťahať zvyšných 95 %, ktorí sa ho nikdy nedotknú.
- Testujete redizajn PDP, ktorý sa týka všetkých stránok s detailom produktu? Zahrňte 60 % ľudí, ktorí PDP navštívia, nie 40 %, ktorí ich nikdy neuvidia.
- Testujete vylepšenie checkoutu? Do analýzy stačí tých 15 %, ktorí sa k nemu dostanú. Zvyšných 85 % sa so zmenou nestretne.
Nerozhoduje veľkosť zasiahnutého segmentu. Rozhoduje, či zmena môže nepriamo ovplyvniť správanie mimo svojho bezprostredného okolia.
Základný princíp:
Veľa A/B testov má vedľajšie účinky, ktoré nečakáme. Hlavne tie, ktoré sa týkajú:
- vizuálnych zmien
- presunu pozornosti
- nahrádzania produktov
Nepýtajte sa „Čo testujeme?“ Pýtajte sa „Čo všetko môže táto zmena ovplyvniť?“
Ak váhate, začnite s celou vzorkou pre hlavné metriky. Filtrovanú analýzu môžete spraviť aj dodatočne. Dáta o účinkoch, ktoré ste nemerali, však späť nezískate.
Ešte to len dolaďujeme. Ak ste podobnú dilemu riešili vo svojom testovaní, rád si vypočujem, ako ste na to išli.