Spilt test? Hvor længe er det den skal køre før den er rigtig?

Vi har alle hørt det før vi læste en fed optimizely split test, eller da vi blev rådet til at lave splittest.
Test skal køre længe og have mange besøg før du er sikker på resultatet er rigtige.

Jeg besluttede mig for, at sætte det på spidsen, og lave en ekstrem test, som viste hvor galt det kan gå, hvis du ikke får nok besøg.

Jeg satte en test op med 6 muligheder, dette er ekstremt meget, som regel er det en god idé at holde sig til 2, og køre nogen flere i stedet for, alle 6 muligheder er nøjagtigt ens.

Optimizely jeg bruger har en udregner som hele tiden udregner om din test er valid, denne er rigtigt god til at hjælpe dig, den fortæller hele tiden, hvor mange besøg du mangler for, at gøre din test valid. Fordi alle 6 muligheder er ens, er det endnu svære at finde en vinder, for Optimizely, det kræver mindre besøg+konverteringer, at vise en høj forbedring end en lav forbedring, det her er altså sat op til at fejle, fordi forskellen vil være meget lille.
Men sådan er der mange test som er, man tester tit ting som mange kunder slet ikke ser.

Her er testen, jeg har taget et screenshot ved 713, 2813, 4408, 7650, 14.746 og 16.797 besøg. Du skal holde øje med “salg”kolonnen, det er den der viser konverteringsraten.

Som du kan se er det først ved omkring 14.000 besøg at tallene nogen lunde giver mening, og selv efter 17.000 besøg er tallene stadig langt fra hinanden, alt imens Optimizely skriver at resultatet er 95% rigtigt.

Hvis testen var stoppet ved 4400 besøg havde variation 5 været klart bedst med en forbedring på hele 38%, ved 7650 besøg havde variation 3 været bedst med en forbedring på 12%.

Det er ikke de 95% du skal se efter, du skal se noget længere nede på siden, her kan du finde en gennemgang af den enkelte test, den jeg har kaldt salg, her kan du hurtigt se at resultatet er helt hen i vejret:

optimering

Som du kan se siger den jeg mangler ca. 100.000 besøg for, at kunne drage nogen konklusion af testen.

Du kan også trykke “show Chart” og få denne: graf

Her kan du se, hvordan forbedringen har set ud over tid, og du kan se den går imod næsten ingen forbedring.

Hvor mange besøg skal der så til?

Det er svært at sige, men hvad end system du bruger skal det nok fortælle dig det. Dog skal du mindst køre en test i 7 dage, mindst have 1000 brugere over den og meget gerne flere. Der er forskel fra side til side og fra test til test, så der er heldigvis nogen gode værktøjer til, at give dig en idé om det.

Fx denne: A/B Test Sample Size Calculator.
Første felt skriver du din nuværende konvertering, det kan være salg, tilmeldinger til nyhedsbrevet eller noget andet.

Andet felt skriver du hvilken forandring du gerne vil kunne se, jeg har skrevet 10% i feltet, det betyder at jeg højest vil kunne se en ændring af min konvertering til 8,8% eller 7,2%.
Som den skriver kræver dette 17.000 besøgene for, at du kan kunne bruge tallene til noget.

Test-Sample-Size-Calculator

Så har den kørt endnu længere. Og fået mange flere besøg ind.

85 000 besøg faktisk. Hvordan ser det så ud ? Stadig meget dårligt.

Humlen er at du skal lave undersøgelser som er så små som muligt.

85k besøg

Er “Tilføj til indkøbskurven” bedst? Split test

Jeg hørte om at Mogens møller testede knappen “læg i indkøbskurv for et godt stykke tid siden, men jeg fik aldrig set testen. Så jeg besluttede mig for at teste det selv.

Resultatet er overraskende, da jeg ikke mener der burde være en forskel, eftersom de fleste kunder godt ved hvordan de fleste webshops virker, så tænkte jeg at testen var overflødig.
Knappen er rigeligt tydelig, og jeg tænkte at jeg kunne skrive hvad som helst i den.

Denne test er lavet med kunderne fra Mackabler.dk, og de er helt sikkert anderledes end dine, hvis du vil vide hvilken aldersgruppe de er, må du kontakte mig.

Jeg testede disse imod hinanden:

Tilføj til indkøbskurven

Tilføj til kurven

Køb

Tilføj til kurv

læg i kurven(Jeg kom til at gøre det med småt, og opdagede det først alt for sent.)

læg i indkøbskurven” (Jeg kom til at gøre det med småt, og opdagede det først alt for sent.)

tilføj-til-kurv tilføj-til-kurven Tilføj-til-indkøbskurven læg-i-kurv læg-i-indkøbskurven køb

Hvordan er resultatet?

testen-læg-i-kurv-osv

 

Der kan du selv se det, du skal se på “salg”, Engagement ved jeg ikke hvad dækker over, hvis du ved det må du endelig sige til.

Salg-tracking er tracking af antal salg, ikke hvor mange penge kunderne køber for, det kan også have betydning.

Jeg tror jeg ændre det hele til “Tilføj til kurven”.

Split test?

Det behøver ikke være så svært. Man behøver ikke engang sætte noget op.

optimizely.com er et af de her værktøjer som er så enkelte at det næsten ikke kan være rigtigt.

Alt du gør at at sætte et lille JavaScript ind på din side, så finder du ud af at lave en mål, fx salg (ja, jeg er jo webshop mand), også køre det.
Alt er drag n’ drop, du trykker bare på en ting, og vælger hvad der skal ske med den, du kan slette den erstatte den osv.
Du kan sætte noget andet ind, slette det eller teste 5 forskellige designs imod hinanden.

Du kan også selv vælge hvor mange forskellige mål du vil spore på og hvilke af dine sider du vil spore på.

Til sidst får du en rapport med et klart budskab om hvad der er bedst 🙂

Fik jeg sagt at alt dette er gratis!
Jeg er ikke engang kommet rigtigt ned i det, og har endnu ikke fundet nogen begrænsninger.