Spilt test? Hvor længe er det den skal køre før den er rigtig?

Vi har alle hørt det før vi læste en fed optimizely split test, eller da vi blev rådet til at lave splittest.
Test skal køre længe og have mange besøg før du er sikker på resultatet er rigtige.

Jeg besluttede mig for, at sætte det på spidsen, og lave en ekstrem test, som viste hvor galt det kan gå, hvis du ikke får nok besøg.

Jeg satte en test op med 6 muligheder, dette er ekstremt meget, som regel er det en god idé at holde sig til 2, og køre nogen flere i stedet for, alle 6 muligheder er nøjagtigt ens.

Optimizely jeg bruger har en udregner som hele tiden udregner om din test er valid, denne er rigtigt god til at hjælpe dig, den fortæller hele tiden, hvor mange besøg du mangler for, at gøre din test valid. Fordi alle 6 muligheder er ens, er det endnu svære at finde en vinder, for Optimizely, det kræver mindre besøg+konverteringer, at vise en høj forbedring end en lav forbedring, det her er altså sat op til at fejle, fordi forskellen vil være meget lille.
Men sådan er der mange test som er, man tester tit ting som mange kunder slet ikke ser.

Her er testen, jeg har taget et screenshot ved 713, 2813, 4408, 7650, 14.746 og 16.797 besøg. Du skal holde øje med “salg”kolonnen, det er den der viser konverteringsraten.

Som du kan se er det først ved omkring 14.000 besøg at tallene nogen lunde giver mening, og selv efter 17.000 besøg er tallene stadig langt fra hinanden, alt imens Optimizely skriver at resultatet er 95% rigtigt.

Hvis testen var stoppet ved 4400 besøg havde variation 5 været klart bedst med en forbedring på hele 38%, ved 7650 besøg havde variation 3 været bedst med en forbedring på 12%.

Det er ikke de 95% du skal se efter, du skal se noget længere nede på siden, her kan du finde en gennemgang af den enkelte test, den jeg har kaldt salg, her kan du hurtigt se at resultatet er helt hen i vejret:

optimering

Som du kan se siger den jeg mangler ca. 100.000 besøg for, at kunne drage nogen konklusion af testen.

Du kan også trykke “show Chart” og få denne: graf

Her kan du se, hvordan forbedringen har set ud over tid, og du kan se den går imod næsten ingen forbedring.

Hvor mange besøg skal der så til?

Det er svært at sige, men hvad end system du bruger skal det nok fortælle dig det. Dog skal du mindst køre en test i 7 dage, mindst have 1000 brugere over den og meget gerne flere. Der er forskel fra side til side og fra test til test, så der er heldigvis nogen gode værktøjer til, at give dig en idé om det.

Fx denne: A/B Test Sample Size Calculator.
Første felt skriver du din nuværende konvertering, det kan være salg, tilmeldinger til nyhedsbrevet eller noget andet.

Andet felt skriver du hvilken forandring du gerne vil kunne se, jeg har skrevet 10% i feltet, det betyder at jeg højest vil kunne se en ændring af min konvertering til 8,8% eller 7,2%.
Som den skriver kræver dette 17.000 besøgene for, at du kan kunne bruge tallene til noget.

Test-Sample-Size-Calculator

Så har den kørt endnu længere. Og fået mange flere besøg ind.

85 000 besøg faktisk. Hvordan ser det så ud ? Stadig meget dårligt.

Humlen er at du skal lave undersøgelser som er så små som muligt.

85k besøg

Hurtig kode! Forklaret ikke teknisk.

Hurtig kode er lækkert, fordi det giver en hurtigere hjemmeside for dine besøgende, og derfor også mindre stress til din server. Du kan læse lidt om en hurtig host her.

Men hvad er hurtig kode?

De fleste sider er i PHP, og PHP har en masse styrker, og svagheder, en af svaghederne er at det er langsomt. Hver bruger på en PHP server får sin egen side, altså når en bruger besøger en PHP side bliver siden lavet til den bruger.
Dette kræver en masse processor og ram af din server, 2 ting som de fleste servere ikke har.
Wordpress, Prestashop, Magento, Drupal, Facebook og stort set alle andre sider bruger PHP.

Men der er en masse måder at løse dette på. Dvs, der er en måde at løse dette på, det er Cache.
Cache på en PHP server er hvor man får serveren til at gemme en enkelt brugers side, og giver den til de næste brugere, det betyder at hver bruger ikke får deres egen side, men en genbestilt en af slagsen, så sætter man en indstilling, hvor længe denne version af side skal være aktiv, også genlaves siden når tiden er gået og der er en bruger som beder om siden igen.
Altså spare man en masse server tid, fordi server kun laver siden hver 24 timer, i stedet for hver gang den får et besøg.

Men cache kan tit ikke betale sig. Langt de fleste sider har ikke nok besøg til at cache kan betale sig. Fordi den første bruger på din side, skal både lave en side og samtidig lave den version alle andre brugere skal have, derfor er det første besøg på en cache-aktiv side, som ikke har taget cache endnu for det mindste halvt så hurtigt.

Se et eksempel fra Mackabler.dk her: 1,44 sek imod 0,51 sek. Det tager altså serveren 0,9sek længere, hvis cachen ikke er taget endnu.

Cache aktivt, Og der er lavet cache Cache aktivt, Men der er ikke lavet cache
Mac cache mack uden cacbe

Der er rigtigt mange sider som har cache på, men hvor stort set alle brugere ender med at bruge en masse tid på at lave en cache som ingen andre bruger.

Husk at alle dine sider har deres egen cache, altså indlæg fra 2008 som får et besøg hver måned bliver kun cache’et med den bruger.

Hurtige regler:
– Cache er noget man bruger når man har over 100 besøg/dag 🙂
– Cache der holder 24 timers er ikke for meget.

Så er der selve cacheen.

WordPress sider med mange plugins er tit langsomme, her er cache næsten et must, vær særligt opmærksom på indstillingerne hvis du har en webshop, Jeg er kommet til at caché kurven, så kun den føste bruger kunne købe noget 🙂

Jeg bruger WP Super Cache som er let at sætte op, men hvis du vil have mere styr på det, så er W3 Total Cache super fedt, det kræver en teknisk indsigt 🙂
Min makker taler rigtigt godt om WP Fastest Cache.

Prestashop kommer med en masse cache. Slå så meget som muligt til.

Jeg ved ikke en skid om andre CMS’er.

Browser cache

Browser cache er den cache som du beder dine brugeres internet browsere om at tager, her kan du fx bede dem om at tage backup af dine billeder i 5 dage, det betyder at dine brugere kan komme tilbage op til 5 dage efter og slippe for at downloade dine billeder igen.
Dette er rigtigt godt, da dine brugere tit kommer tilbage, og sider på den måde vil være ultra hurtig for dem.
Hvis din server har apache kan du skrive dette ind i htaccess filen, men ærligtalt, det er bygget ind i Cloudflare, som du burde bruger allerede.
Google PageSpeed Insights og Pingdom tool giver dig også noget bedre karakter hvis du bruger dette.

5 dage er et fint tal, ellers indtil Google PageSpeed Insights ikke brokker sig mere.
Nogen kalder dette for TTL.

Minify?

cccMinify dækker over minify og combine og går ud på at tage alle dine CSS (stylesheet filer) og JS (javascript filer) og sætte dem samme til to filer, samt fjerne unødigt kode.
Lige nu har du sikkert 5 eller flere af hver. 

Dette er der heldigvis systemer til. Heldigvis! For et par år siden sad jeg timer og gjorde det for folk 🙂 

Der er nogen forskellige måder at gøre det på:

Prestashop? Det er meget enkelt, slå det til. Det virker altid! Sikre dig lige at siden ser ordentlig ud bagefter(css) og at funktionerne virker(js).

WordPress er det mere besværligt, hvis det skal være helt rigtigt så skal du have fat i en koder, men du kan hurtigt gøre det meste, WP Minify Fix klare opgaven 80%, der er altid et eller andet WordPress plugin som ikke kommer med, minify er også bygget ind i Cloudflare, sammen gør de det tit 100% …
Igen, Cloudflare er et must.

 

Billeder skal vises i rigtigt størrelse

Hvis dit logo bliver vist i 100x100px, skal det også gemmes i 100x100px. Det her behøver jeg nok ikke sige. Men der er rigtigt mange som ikke gør det.

Et par veninder havde en webshop, på Shopify, og de have uploadet nye billeder til alle deres produkter, ca. 100 af dem, men deres side blev lidt langsom fortalte de, det viste sig at deres “alle produkter kategori” fyldte over 150MB imod normalen som er ca. 1MB, da deres designer havde valgt at bruge fuld størrelse billeder til de små billeder i oversigten.
Jeg har fornyligt stødt på en anden webshop, som gør det samme, alle billeder er mindste 50% for store.

Billeder skal vises i rigtigt størrelse. Dette kan du selv gøre.

Billede Sprite

all_sprite2@2xHvad er CSS Image Sprites? Dette er lidt mere kompliceret, og er nok for dem af jer som er lidt mere tekniske. Det handler om at sætte alle faste billeder på din side sammen, til et enkelt billede, også bruger man css til at vise den del af billedet som skal være de forskellige steder.

Man bruger css sprites fordi det er hurtigere, men grunden til at det er hurtigere er at dine brugere’s browsere er begrænsede, fx kan en normal browser kun hente max 8 filer samtidig, og hver gang en browser starter med at downloade en del af en side eller et billede er der en masse spild tid til at forbinde de 2 computere, derfor kan det bedst betale sig at have så få filer som muligt.
Til højre kan du se et sprite fra Mackabler.dk, med logo, 2 billeder fra bunden og alle kreditkortene 🙂

Det første startup som laver en “Auto Sprite” service bliver milliardær, please kom igang 🙂  

Komprimere din side

Populært er det at aktivere Gzip på din side, det her kan du også selv klare.
Det handler om at du skal få din server til at sende en komprimeret version af din side, hvis en browser beder om det. Dette bruger man som regel en eller andet Zip format til.

Det er meget forskelligt hvordan du aktivere det, mange shared hosts (unoeuro, gigahost, one osv.) har en linje kode du skal skrive i din Htaccess fil, men hvis du har din egen server skal du selv indstallere det.

Bruger du wordpress kan du downloade et plugin som kan klare dette, fx: Check and Enable GZIP compression

Du kan tjekke om det virker her: gzipwtf

CDN

Eller content delivery network, CDN er noget jeg aldrig har haft brug for, sider der har behov for dette, skal være meget store.
I store træk er CDN at du ligger din side på forskellige servere, på den måde kan dine besøg hente fra flere servere samtidigt, og derfor få hurtigere forbindelser og få i hvert fald dobbelt så mange forbindelser fra 8 til 16 ved 2 servere, men CDN kan også brugere flere end 2 servere.

CDN kan sættes op manuelt eller automatisk, det er bygget ind i Cloudflare, men den gratis version af Cloudflare er meget langsom, du skal betale 20$/md for deres service før du får en brugbar CDN fra dem.

Du kan også bruge CDN hvis din side skal bruges over hele verden, her sætter man servere op forskellige steder, så brugeren får den server som er tættest på, eller hurtigst.

Hvis du overvejer CDN og betaler under 100kr/md for din server nu, så drop det og få dig en hurtigere server i stedet for. Ellers så forsøg med en af de mange automatiske systemer, som koster penge, her i blandt:
Priserne er taget ud fra en side med små filer, og omkring 4GB båndbredte /md.

Cloudflare maxcdn.com verizondigitalmedia amazon cloudfront rackspace Cloud Files
$20/md ($5 for side nummer 2) $9/md (+$15 for flere pladseringer) +$1000 1. år er gratis, op til 50GB og 2M Request

Efter: $4/md

under $1/md
Du betaler per gb.

Cloudflare er det sikre valg, da alle de andre kræver at du står for opsætningen.

Denne liste er ikke kompelt

Der er mange andre måder at få hurtig kode, disse metoder er gode hvis du har et CMS, som du ikke altid er herre over 🙂 Men skriv gerne til mig hvis jeg mangler nogen fede muligheder.
Wizzi-2015-dec

Vildt hurtig hosting?

Det er vigtigt at have en hurtig side, særligt til en webshop, lange loadings tider betyder som regel at kunderne bliver utålmodige og forsvinder hen på en af de andre tabs de har åbnet sammen med din side.
Amazon har udgivet mange af disse tests og de viser meget konkret at langsommere sider giver markant mindre salg. Amazon siger at 0,1sek mere load betyder 1% mindre salg.

Det er svært få hurtig hosting i Danmark. Sådan er det bare. i sær hvis du tror at hosting koster imellem 5-20kr/md. Hvis du lever af din side, og derfor tjener flere penge jo hurtigere din side er, er det vigtigt med en ordentlig host.

Der er nogen stykker som kan klare opgaven her i Danmark zitcom.dk, netgroup også er det en masse i udlandet. I danmark giver man hurtigt 1000kr/md for en host (VPS), hvorimod mere konkurrence i udlandet betyder at priserne her er lavere. Google har deres, Amazon har deres og det jeg bruger er DigitalOcean.

Først skal vi lige slå fast hvordan vi tester hastighed. Du kan teste det på din egen computer, det er også fint, men du skal være opmærksom på at din browser tager en masse backup og at dit internet ikke altid er lige hurtigt. Derfor bruger jeg Pingdom tools, jeg sætter den altid på sverige, fordi den server er tættest på. Denne viser ca. altid det samme, hvilket er godt til at teste denne slags ting.

På digital ocean kan du få din egen VPS, visuelle private server for ned til 5$/md, jeg satte en helt normal WordPress side op på sådan en, og fik en load på 0,3sek.
Til sammenligning klare min gigahost server (til 29kr/md) det på 2,1sek.

CRxogVmW0AAIDLf

Så er det min webshop. Den køre Prestashop, og det er ikke kendt som et særligt hurtigt CMS. Det er fyldt med PHP scripts, og selv om du kan sætte cache på, så virker det ikke optimalt, da deres cache ikke er så cache’y.

Vi har brugt rigtigt meget tid på at optimere loadtiden i vores design, hvilket har gjort at den loader på kun 0,5sek. Dette er den lidt mere ambitiøse 20$/md(140,84 kr) version. Det betyder flere salg og at serveren kan klare mange flere besøg.

pingdom-mackabler

Vi har ligget nogen forskellige steder, blandt andet hos zitcom(ca. 140kr/md), her loadede vi på 1,5sek, vi har også ligget på en VPS fra Unoeuro(ca. 510kr/md) her loadede vi ca. på lidt over 2sek også har vi ligget på en prohost hos Meebox(99kr/md) her loadede vi på ca. 4sek.

Cloud hosting taler alle om

Cloud hosting betyder ikke rigtigt noget, da hosting af websider ikke kan være andre steder end i en cloud, men det seje der er kommet fra med Cloud-bøjlen er servere som kan opgraderes og nedgraderes med et enkelt tryk.

Med DigitalOcean kan vi opgradere til 12 kerner og 32gb ram om et par min, fra 2 kerner og 2gb ram, hvis vi bliver ramt af for meget trafik. Vi kan også nedgraderer igen – også betaler vi kun for det vi bruger.

Med DigitalOcean kan du også lave en ny server, fx en kopi af den du har i forvejen, på et par min, DigitalOcean siger 60sek, men det passer ikke, særligt hvis du laver serveren ud fra en kopi af din online server. Det tager os ca. 5min.
På den måde kan du teste noget, med en nøjagtig kopi af din server, og hvis det virker kan du skifte til den nye server på få minutter.

Der er en hage ved det hele

Du skal selv stå for serveren, du skal selv opdatere PHP, og selv installere pyton eller Mysql hvis du har brug for det. Det kan man heldigvis betale sig fra, men bagefter er der, som med alt IT, altid noget som skal rettes. Det koster også penge.
Jeg tror man skal have lidt teknisk forståelse og det hjælper helt sikkert at have løst en masse server problemer tidligere 🙂

Hvordan gør du helt praktisk ?

Hvis du har mod på at starte dette, så kan du ligeså godt teste det, DigitalOcean giver 10$ gratis prøve tid, og på upwork (tidligere odesk) kan du hurtigt finde en meget billig sysadmin til at sætte din server op.
Du kan ligeså godt starte med den billigeste 5$/md server, også opgradere i takt med at enten trafik stiger eller du får mere blod på tanden, det kan klares uden nogen teknisk indsigt, på 2min.

create-droplet

Efter det hele er opsat kan du teste hastighederne, og se hvor meget der er at vinde, selvfølgelig stadig på et test domæne.
Din side er sikkert blevet dobbelt så hurtig hvis du kommer fra en god dansk host, til 100kr/md, eller 8x hurtigere hvis du kommer fra meebox, også skal du ansætte en dansker til at gøre din server sikker og til at stå for løbende forbedringer, dette finder du let med Amino freelancer. Nu er du klar til at opsige dit gamle, og skifte server.

Alt i alt er vi tilfredse med vores DigitalOcean server. Amazon og Google er helt sikkert også fine, men dem har jeg ikke prøvet og jeg får en lille pose penge tilføjet til min konto, hvis du køber digital ocean med et af mine links, derfor linker jeg til dem.

Du kan også bare ignorer alt det her og få dig en shoporama shop, de er vildt hurtige, og du du skal hverken have fat i freelancere eller UpWork for at få den til at blive hurtigere 🙂

Er “Tilføj til indkøbskurven” bedst? Split test

Jeg hørte om at Mogens møller testede knappen “læg i indkøbskurv for et godt stykke tid siden, men jeg fik aldrig set testen. Så jeg besluttede mig for at teste det selv.

Resultatet er overraskende, da jeg ikke mener der burde være en forskel, eftersom de fleste kunder godt ved hvordan de fleste webshops virker, så tænkte jeg at testen var overflødig.
Knappen er rigeligt tydelig, og jeg tænkte at jeg kunne skrive hvad som helst i den.

Denne test er lavet med kunderne fra Mackabler.dk, og de er helt sikkert anderledes end dine, hvis du vil vide hvilken aldersgruppe de er, må du kontakte mig.

Jeg testede disse imod hinanden:

Tilføj til indkøbskurven

Tilføj til kurven

Køb

Tilføj til kurv

læg i kurven(Jeg kom til at gøre det med småt, og opdagede det først alt for sent.)

læg i indkøbskurven” (Jeg kom til at gøre det med småt, og opdagede det først alt for sent.)

tilføj-til-kurv tilføj-til-kurven Tilføj-til-indkøbskurven læg-i-kurv læg-i-indkøbskurven køb

Hvordan er resultatet?

testen-læg-i-kurv-osv

 

Der kan du selv se det, du skal se på “salg”, Engagement ved jeg ikke hvad dækker over, hvis du ved det må du endelig sige til.

Salg-tracking er tracking af antal salg, ikke hvor mange penge kunderne køber for, det kan også have betydning.

Jeg tror jeg ændre det hele til “Tilføj til kurven”.

Split test?

Det behøver ikke være så svært. Man behøver ikke engang sætte noget op.

optimizely.com er et af de her værktøjer som er så enkelte at det næsten ikke kan være rigtigt.

Alt du gør at at sætte et lille JavaScript ind på din side, så finder du ud af at lave en mål, fx salg (ja, jeg er jo webshop mand), også køre det.
Alt er drag n’ drop, du trykker bare på en ting, og vælger hvad der skal ske med den, du kan slette den erstatte den osv.
Du kan sætte noget andet ind, slette det eller teste 5 forskellige designs imod hinanden.

Du kan også selv vælge hvor mange forskellige mål du vil spore på og hvilke af dine sider du vil spore på.

Til sidst får du en rapport med et klart budskab om hvad der er bedst 🙂

Fik jeg sagt at alt dette er gratis!
Jeg er ikke engang kommet rigtigt ned i det, og har endnu ikke fundet nogen begrænsninger.