Usability-test

Hvad er en usability-test?

I en usability-test beder en forsker — kaldet en facilitator eller moderator — en deltager om at udføre opgaver, typisk med en eller flere konkrete brugerflader. Man observerer, hvor deltageren går i stå eller misforstår, i stedet for at spørge til holdninger.¹

En test har tre kernekomponenter: en facilitator, der guider deltageren og stiller opfølgende spørgsmål uden utilsigtet at påvirke adfærden; en deltager, der er en realistisk bruger af produktet; og opgaver, der er realistiske aktiviteter, deltageren kunne finde på at udføre i virkeligheden.¹

En usability-test er ikke det samme som et brugerinterview eller en spørgeskemaundersøgelse: værdien ligger i at se, hvad folk faktisk gør, ikke hvad de siger, de ville gøre. Metoden er en del af det bredere felt brugerresearch.¹

Modereret vs. umodereret

I en modereret test er en facilitator til stede under sessionen — fysisk eller via skærmdeling — og kan stille opfølgende spørgsmål, afklare misforståelser og gå i dybden i det øjeblik, noget interessant sker. Det giver rige, kvalitative indsigter.¹⁶

I en umodereret test er der ingen forsker til stede: en softwareplatform giver instruktioner, optager deltagerens handlinger og kan stille forudbestemte opfølgende spørgsmål. Forskeren gennemgår optagelserne bagefter.⁷

Umodereret test er typisk hurtigere og billigere og kan indsamle feedback fra dusinvis eller hundreder af deltagere samtidig.⁷

Til gengæld kan deltagere i en umodereret test ikke bede om afklaring, hvis en instruktion er uklar, og forskeren kan ikke grave i svarene undervejs. NN/g bemærker, at deltagere uden en moderator har tendens til at være mindre engagerede og opføre sig mindre realistisk. Modereret test egner sig derfor bedre til tidlige prototyper og komplekse opgaver.⁷

Tænke-højt-protokollen

I en tænke-højt-test (thinking aloud) beder du deltagerne bruge systemet, mens de løbende tænker højt — altså blot sætter ord på deres tanker, efterhånden som de bevæger sig gennem brugerfladen. NN/g kalder metoden det vigtigste enkeltværktøj i usability og beskriver den som "et vindue til sjælen", der afslører, hvad brugerne reelt tænker om designet.²

Metoden har begrænsninger, man skal være opmærksom på. De færreste taler til sig selv til daglig, så det er unaturligt at holde en løbende monolog i gang. Deltagerne skal sige ting, så snart de dukker op — ikke reflektere først — men fordi folk gerne vil fremstå kompetente, er der en risiko for, at de først taler, når de har tænkt situationen igennem.²

Facilitatoren skal derfor styre let: prompts og afklarende spørgsmål er ofte nødvendige, men fra en utrænet facilitator kan sådanne afbrydelser meget let ændre brugerens adfærd. Målet er at få deltageren til at tale uden at diktere, hvad han gør.²

Sådan skriver du realistiske opgaver

En opgave (task scenario) er den handling, du beder deltageren udføre på brugerfladen. Gode opgaver pakkes ind i en kort fortælling, der forklarer hvorfor brugeren gør noget, så deltageren engagerer sig i situationen frem for blot at afvikle et skridt.³

Gør opgaven realistisk og handlingsorienteret. Beder du en deltager om noget, han ikke normalt ville gøre, forsøger han at fuldføre opgaven uden reelt at bruge brugerfladen. Bed hellere brugeren om at gøre handlingen end om at forklare, hvordan han ville gøre den — selvrapportering er upålidelig.³

Den vigtigste faldgrube er at lede deltageren. Trinvise beskrivelser indeholder ofte skjulte spor til, hvordan brugerfladen skal betjenes, og opgaver, der bruger de samme ord som brugerfladens knapper og labels, påvirker (bias) brugerne. Skriv f.eks. "Find en måde at få information om kommende events sendt til din mail" i stedet for "Tilmeld dig nyhedsbrevet", hvis det er teksten på knappen.³

Kvalitativ vs. kvantitativ — og hvor mange?

Kvalitativ usability-test fokuserer på at indsamle indsigter, fund og anekdoter og er bedst til at opdage problemer. Kvantitativ usability-test fokuserer på at indsamle målinger som opgaveløsning og tidsforbrug til benchmarking. De to typer besvarer forskellige spørgsmål og kræver forskelligt antal deltagere.¹

Nielsens model er ofte citeret — og misforstået. Den antager, at én deltager i gennemsnit afdækker 31 % (L) af problemerne; indsat i formlen N(1−(1−L)ⁿ) finder fem deltagere derfor omkring 85 % af usability-problemerne. Tallet er et gennemsnitligt estimat på tværs af mange projekter, ikke en garanti for et bestemt design.⁴

Pointen er ikke at stoppe ved fem, men at teste iterativt: NN/g anbefaler at teste med højst fem brugere og køre så mange små tests, som budgettet tillader — f.eks. tre studier med fem brugere hver frem for ét stort. Har produktet flere skarpt adskilte brugergrupper, skal du teste flere (ca. 3-4 pr. gruppe).⁴

Modellen gælder kvalitativ test, hvor målet er at finde problemer. Vil du have pålidelige tal — statistisk holdbare målinger af f.eks. opgaveløsningsrate — anbefaler NN/g at teste med omkring 20 brugere pr. design.⁴

Remote vs. fysisk, målinger og severity

En remote-test er som en traditionel test med én forskel: deltager og facilitator er to forskellige fysiske steder. Remote er en god løsning ved stramt budget og geografisk spredte brugere, og deltagerne bruger deres eget udstyr i deres eget miljø. NN/g anbefaler dog generelt fysisk test, når det er muligt, fordi det er lettere at aflæse kropssprog og fornemme det rette tidspunkt til et opfølgende spørgsmål.⁶

Det, du typisk måler, er opgaveløsning (success rate — kan brugeren overhovedet løse opgaven), tid pr. opgave (time on task) og fejl (antal og alvorlighed). I en kvalitativ test bruges observationerne til at identificere konkrete problemer frem for at producere tal.¹

Hvert fundet problem kan gives en severity-rating ud fra tre faktorer: hyppighed (er det almindeligt eller sjældent?), effekt (er det let eller svært for brugerne at komme videre?) og vedholdenhed (er det et engangsproblem eller noget, der generer gentagne gange?). NN/g bruger en skala fra 0 til 4: 0 = ikke et problem, 1 = kosmetisk, 2 = mindre problem (lav prioritet), 3 = større problem (høj prioritet), 4 = katastrofe (skal rettes før release).⁵

Typiske fejl

Den hyppigste fejl er at lede brugerne — enten ved at formulere opgaver, der afslører fremgangsmåden, eller ved at facilitatoren afbryder og antyder svaret. Selv en velment prompt fra en utrænet facilitator kan ændre adfærden og gøre resultatet ubrugeligt.³²

En anden klassisk fejl er at teste for sent. Da modellen viser, at fem brugere afdækker størstedelen af problemerne, og den bedste effekt kommer af at rette og teste igen, giver det mest værdi at teste tidligt og iterativt frem for at gemme én stor test til slutningen af projektet.⁴

Endelig forveksler mange kvalitativ og kvantitativ test: at drage stærke talbaserede konklusioner ("42 % faldt fra") ud fra fem deltagere er en fejlslutning. Fem deltagere finder problemer; solide tal kræver omkring 20.⁴

Ofte stillede spørgsmål

Kilder

1. Usability (User) Testing 101Nielsen Norman Group · Definerer usability-test, de tre komponenter (facilitator, deltager, opgaver), samt modereret vs. umodereret og kvalitativ vs. kvantitativ.
2. Thinking Aloud: The #1 Usability ToolNielsen Norman Group (Jakob Nielsen) · Definition af tænke-højt-protokollen ("et vindue til sjælen") og dens begrænsninger, herunder risiko for facilitator-bias.
3. Turn User Goals into Task Scenarios for Usability TestingNielsen Norman Group · Hvordan man skriver realistiske, handlingsorienterede opgaver og undgår at lede via trin-spor og brug af brugerfladens egne ord.
4. Why You Only Need to Test with 5 UsersNielsen Norman Group (Jakob Nielsen) · Formlen N(1−(1−L)ⁿ), L=31 %, ~85 % ved 5 deltagere, iterativ testing, flere brugergrupper, og ~20 deltagere til kvantitative studier.
5. Severity Ratings for Usability ProblemsNielsen Norman Group (Jakob Nielsen) · Tre faktorer (hyppighed, effekt, vedholdenhed) og 0-4 severity-skalaen.
6. Remote Usability Tests: Moderated and UnmoderatedNielsen Norman Group · Definition af remote test (deltager og facilitator forskellige steder), fordele ved remote og anbefaling af fysisk test når muligt.
7. Unmoderated User Tests: How and Why to Do ThemNielsen Norman Group · Definition og fordele/ulemper ved umodereret test: hurtig og skalerbar, men ingen afklaring/opfølgning og lavere engagement.