A/B-testing

Hvad er A/B-testing?

A/B-testing er en kvantitativ researchmetode, der tester to eller flere designvarianter på et levende publikum for at afgøre, hvilken der klarer sig bedst målt på en forud fastlagt forretningsmetrik.¹

Teknisk set er det en randomiseret proces: forskellige segmenter af de besøgende får vist hver sin version samtidig, og man måler, hvilken version der driver forretningsmetrikken bedst. Den tilfældige fordeling er afgørende — den gør de to grupper sammenlignelige, så en forskel i resultat kan tilskrives designet og ikke tilfældige forskelle mellem brugerne.⁵

Netop fordi det er et kontrolleret eksperiment, kan selv små ændringer give store, målbare udslag. I et velkendt eksempel fra Bing øgede en enkelt ændring af en annonceoverskrift omsætningen med 12 % — svarende til over 100 millioner dollars om året alene i USA — og blev kaldt en af de bedste omsætningsidéer i Bings historie. Pointen er ikke tallets størrelse, men at kun et eksperiment kunne afsløre effekten.⁶

Hvornår passer A/B-testing — og hvornår ikke?

A/B-testing egner sig bedst til områder med klare, gerne monetære metrikker: e-handel, SaaS, sociale medier, online udgivelser og e-mailmarketing. Typiske testemner er call-to-action-knapper, overskrifter, sidelayout, tekst, checkout-flow og formularer.¹

Metoden er derimod uegnet til sider med lav trafik, til at teste flere ændringer på én gang, og til at forstå HVORFOR brugeradfærd ændrer sig — den viser kun HVORDAN den ændrer sig.¹

Kravet om trafik er reelt: for at nå frem til en statistisk signifikant forskel mellem to varianter har man ofte brug for tusindvis af brugere, der interagerer med produktet. Har du meget lav trafik, vil en test enten tage urimeligt lang tid eller aldrig nå et pålideligt svar. Radikale redesigns og tidlig udforskning (discovery), hvor du endnu ikke ved, hvad løsningen skal være, er også dårlige match — der er kvalitative metoder mere oplysende.¹

Hypotese-drevet test og en klar metrik

En god A/B-test starter med en hypotese, der bygger på data og observationer — ikke på gætteri. VWO anbefaler at formulere hypotesen ud fra analyseret adfærds- og websitedata, så du tester en begrundet forventning frem for en tilfældig idé.⁵

Sandsynligheden for at ramme en vinder falder, når man tester uden en stærk, researchbaseret hypotese. Faktisk er langt fra alle test vindere: NN/g anfører, at kun omkring én ud af syv A/B-test er en klar vinder. Det understreger, at test ikke erstatter research, men skal bygge oven på den.¹

Vælg en primær succesmetrik på forhånd, men følg gerne mere end én. Guardrail-metrikker (fx afvisningsprocent eller returneringer) kan afsløre, om en tilsyneladende forbedring i virkeligheden skader noget andet.¹

Statistisk signifikans, stikprøve og varighed

Statistisk signifikans er sandsynligheden for, at forskellen i konverteringsrate mellem varianten og kontrollen ikke skyldes tilfældig variation. P-værdien udtrykker det omvendt: hvor sandsynligt det er at se en forskel så stor som den observerede (eller større), hvis man antager, at der i virkeligheden slet ingen forskel er.³

Vær ærlig om, hvad tallet betyder: signifikans siger noget om, hvor sandsynligt resultatet er under en antagelse om "ingen forskel" — ikke om, hvor stor eller forretningsmæssigt vigtig effekten er. Et resultat kan være statistisk signifikant og alligevel for lille til at betyde noget i praksis.³

Stikprøvestørrelse og varighed hænger sammen. Beregn den nødvendige stikprøve ud fra din trafik, din nuværende konverteringsrate og den mindste forbedring, du vil kunne opdage. Uanset trafikmængde bør en test typisk køre mindst 1-2 uger for at fange naturlige udsving i adfærd hen over ugen — og du bør lade den løbe hele forløbet ud.¹⁵

Peeking: faren ved at stoppe for tidligt

En af de mest udbredte fejl er at kigge på resultatet gentagne gange og stoppe testen, så snart den ser signifikant ud. Det bryder en grundlæggende antagelse om, at stikprøvestørrelsen blev fastlagt på forhånd — og gør det rapporterede signifikansniveau forkert.²

Konsekvensen er dramatisk. I Evan Millers eksempel, hvor man tjekker efter hver observation og tror, man arbejder med et 5 %-signifikansniveau, ender den reelle andel af falske positive på 26,1 % — mere end fem gange højere end antaget. Jo oftere man kigger, jo værre bliver det.²

Løsningen er enkel: beslut en stikprøvestørrelse på forhånd, og vent, til eksperimentet er slut, før du tror på tallene. At binde sig til en stikprøvestørrelse fjerner helt problemet. Kan man ikke lade være med at ville stoppe tidligt, findes der sekventielle eller bayesianske testdesigns, der tillader gyldige konklusioner med fleksible stopregler.²

A/B-test vs. multivariat test vs. usability-test

A/B-testen ændrer én variabel ad gangen. Multivariat test (MVT) ændrer flere variabler samtidig for at finde den bedste kombination af elementer — hvilket kræver større stikprøver, længere forløb og mere kompleksitet.⁴

Fordi trafikken deles ud på mange kombinationer, er MVT særligt krævende: Optimizely fremhæver, at den største udfordring er mængden af besøgende og sidevarianter, der skal til for at nå meningsfulde resultater — og anbefaler direkte at bruge en A/B-test i stedet, hvis trafikken til siden er lav.⁴

Både A/B og MVT er kvantitative og fortæller dig, HVILKEN version der vinder — men ikke hvorfor brugerne opfører sig, som de gør. Usability-test og anden kvalitativ research besvarer HVORFOR. NN/g anbefaler at kombinere metoderne (triangulering): brug kvalitativ research til at forstå problemer og danne hypoteser, og A/B-test til at måle effekten af løsningen i stor skala.¹

Ofte stillede spørgsmål

Kilder

1. A/B Testing 101Nielsen Norman Group · Definition som kvantitativ metode; hvornår den passer/ikke passer; krav om tusindvis af brugere og 1-2 ugers varighed; "HVAD, ikke HVORFOR"; og at kun ca. én ud af syv test er en vinder.
2. How Not to Run an A/B TestEvan Miller · Peeking-problemet: gentagne signifikanstjek oppuster falsk-positiv-raten (eksempel: 26,1 % mod antaget 5 %). Anbefaler fast stikprøvestørrelse besluttet på forhånd, ellers sekventielt/bayesiansk design.
3. Statistical Significance (Optimization Glossary)Optimizely · Definitioner af statistisk signifikans, p-værdi og konfidensinterval i A/B-testning.
4. Multivariate Testing (Optimization Glossary)Optimizely · MVT ændrer flere variabler samtidig; A/B tester én variabel. MVT kræver mere trafik; anbefaler A/B ved lav trafik.
5. What is A/B Testing? A Practical Guide With ExamplesVWO · Definition som randomiseret eksperiment med samtidig visning; databaseret hypotese; kør testen til statistisk signifikans; beregn varighed ud fra trafik og forventet effekt.
6. The Surprising Power of Online ExperimentsHarvard Business Review (Kohavi & Thomke, 2017) · Kontrollerede eksperimenters værdi; Bing-eksemplet: overskriftsændring øgede omsætningen 12 % / over 100 mio. USD om året i USA.