Produktanalyse (product analytics)

Hvad er produktanalyse?

Produktanalyse er analytics anvendt på et digitalt produkt, fx en app, en webshop eller et SaaS-værktøj. Nielsen Norman Group (NN/g) beskriver analytics som analyse af data indsamlet fra brugernes adfærd, fx klik, udfyldte formularer og andre registrerede interaktioner. Metoden er kvantitativ og adfærdsbaseret, og data indsamles indirekte gennem et værktøj frem for ved at observere brugerne direkte.²

Byggestenene er events, brugere og sessioner. En event er en handling i produktet, som du registrerer, fx at en side bliver vist, eller at en bruger opretter en konto. I Mixpanel skal hver event have et navn, et tidspunkt og et distinct ID, der binder alle events fra den samme bruger sammen. Properties beskriver eventen nærmere, fx hvilken side der blev vist.⁶

En session er ifølge Google Analytics 4 en periode, hvor en bruger interagerer med dit website eller din app, og den slutter som standard efter 30 minutters inaktivitet. Fordi events er knyttet til den samme bruger på tværs af sessioner, kan du se, om de brugere, der startede i en bestemt uge, stadig er aktive måneder senere. Et samlet antal aktive brugere kan ikke vise det. Kerry Rodden, Hilary Hutchinson og Xin Fu fra Google påpeger, at et tal som aktive brugere de seneste syv dage ikke skelner mellem nye og tilbagevendende brugere.¹⁰¹

Funnels, retention og andre kerneanalyser

En funnel-analyse tæller, hvor mange brugere der kommer fra ét trin til det næste i et flow, fx fra »start oprettelse« over »konto oprettet« til »første projekt«. I Amplitude er den samlede konvertering antallet af brugere, der udførte alle trin, divideret med antallet, der udførte første trin, og brugerne tæller kun med, hvis de går ind ved første trin. Trinene skal gennemføres inden for et konverteringsvindue, som i Amplitude som standard er én dag. GA4 skelner mellem lukkede funnels, hvor brugerne skal starte ved første trin, og åbne funnels, hvor de kan gå ind ved et hvilket som helst trin.⁸¹¹

Retention måler, hvor mange af brugerne fra én periode der stadig er aktive i en senere periode. Analysen bygger på kohorter, altså grupper af brugere, der startede i samme periode. I PostHog vælger du en start-event, der afgør, hvem der kommer med i kohorten, og en retur-event, som de samme brugere skal udføre igen. Tabellen viser én kohorte pr. række og perioderne i kolonnerne, og den første periode er altid 100 %, fordi alle i kohorten har udført start-eventen.¹⁹

Adoption tæller, hvor mange nye brugere der begynder at bruge et produkt eller en funktion i en given periode, og engagement måler, hvor ofte og hvor intenst de bruger det. Rodden og kolleger anbefaler at opgøre engagement som et gennemsnit pr. bruger, fordi en stigning i totalen kan skyldes flere brugere frem for mere brug. En stianalyse (clickstream) viser rækkefølgen af de sider, brugerne besøger, og supplerer funnelen, der kun tæller de trin, du selv har valgt.¹²

Eksempel på en produktanalyse

Dette er et tænkt eksempel, og alle tal er opfundne. En budgetapp vil have flere nye brugere til at oprette deres første budget. Teamet sætter en funnel op med fire events og et konverteringsvindue på 7 dage. I marts starter 2.000 brugere oprettelsen (signup_started), 1.400 gennemfører den (signup_completed, 70 %), 560 forbinder deres bank (bank_connected, 40 % af dem, der kom videre), og 476 opretter et budget (budget_created, 85 %). Samlet når 23,8 % fra første til sidste trin.

Det største tab ligger ved bankforbindelsen, hvor 840 af 1.400 brugere falder fra. Amplitude udpeger også det største frafald ud fra antallet af tabte brugere frem for procenten. En kohortetabel viser desuden, at 38 % af dem, der oprettede et budget i første uge, stadig er aktive i uge 4, mod 6 % af dem, der stoppede før budgettet. Forskellen beviser ikke, at budgettet får folk til at blive, for brugere, der når frem til et budget, kan være mere motiverede fra starten.⁸

Funnelen viser, hvor problemet er. Hvorfor brugerne falder fra, kræver en anden metode, så næste skridt er en lille usability-test af bankforbindelsen, hvor du ser brugerne forsøge at komme igennem trinnet. Antag, at testen viser, at deltagerne ikke vil give adgang til deres bank, før de har set, hvad appen kan. Så kan teamet formulere en hypotese, fx »Lader vi brugerne oprette et budget før bankforbindelsen, når flere frem til et budget«, og teste den i en A/B-test. Den primære metrik er andelen, der opretter et budget inden for 7 dage, og retention i uge 4 er guardrail-metrik, så en hurtigere start ikke koster tilbagevendende brugere.²¹

Forskellen til webanalyse og kvalitativ research

Webanalyse og produktanalyse overlapper. GA4 har funnel-analyse, og i Mixpanel kan du registrere sidevisninger som én event med sidens navn som property. Forskellen ligger mest i spørgsmålene. »Hvor mange besøg fik siden, og hvor kom de fra?« er et typisk webanalysespørgsmål. »Bruger de kunder, der oprettede en konto i marts, stadig kernefunktionen i maj?« er et produktanalysespørgsmål. Rodden og kolleger skrev allerede i 2010, at standardmetrikker fra webanalyse kan være for generiske til at måle et bestemt produktmål.¹¹⁶¹

Produktanalyse er en kvantitativ metode. Ifølge NN/g er kvantitative metoder bedst til at svare på, hvor mange og hvor meget, mens kvalitative metoder er bedre til at svare på, hvorfor et problem opstår, og hvordan det kan løses. Det, folk siger, og det, de gør, er desuden ofte forskelligt, og analytics måler adfærden.²

Rodden og kolleger skriver, at metrikker bør trianguleres med fund fra andre kilder som usability-studier og feltstudier, og at de primært er nyttige til at evaluere lancerede produkter. De erstatter ikke tidlig research. I praksis viser analysen, hvor i et flow brugerne falder fra, en usability-test eller nogle interviews viser hvorfor, og bagefter måler du, om rettelsen virkede, fx i en A/B-test.¹

Sådan vælger du metrikker med HEART

HEART er en ramme for brugercentrerede metrikker, som Rodden, Hutchinson og Fu fra Google præsenterede på CHI-konferencen i 2010. Den har fem kategorier: Happiness (holdninger som tilfredshed og oplevet brugervenlighed, typisk målt med spørgeskemaer), Engagement (hvor ofte og hvor intenst folk bruger produktet), Adoption (nye brugere i en periode), Retention (brugere, der stadig er der senere) og Task success (tid pr. opgave, andel gennemførte opgaver og fejlrate).¹

Til rammen hører en proces i tre trin. Først formulerer teamet produktets eller funktionens mål. Dernæst finder I de handlinger eller holdninger, der viser, at målet er nået (signaler), og til sidst omsætter I dem til metrikker, der kan følges over tid. Forfatterne anbefaler at gøre rå tal til andele eller gennemsnit pr. bruger, fordi rå tal vokser med brugerbasen. Gmail-teamet målte fx andelen af aktive brugere, der brugte produktet fem eller flere dage den seneste uge. Det er ikke altid relevant at bruge alle fem kategorier, og rammen hjælper dig med at beslutte, hvilke du tager med.¹

En nordstjernemetrik (North Star metric) er en tilgang, hvor én metrik vælges som indikator for hele virksomhedens sundhed. NN/g advarer om, at tilgangen kan være farlig, fordi den forstærker de begrænsninger, der ligger i den ene metrik. NN/g anbefaler at kombinere flere metrikker, fx tilfredshed med succesrate eller tid pr. opgave, fordi det er sværere at manipulere dem alle på én gang.⁵

Trackingplan og navngivning af events

En trackingplan er det fælles dokument, der beskriver, hvad produktet måler. Mixpanel kalder den kilden til sandheden om implementeringen og anbefaler, at den opdateres løbende, når implementeringen ændres. Planen kobler forretningsmål og KPI'er til de events, event-properties og bruger-properties, der skal måle dem, og samler noter, som produkt, marketing, data og udvikling bruger på tværs.⁷

Start med det vigtigste. Mixpanel anbefaler at prioritere de data, du har mest brug for ud fra dine KPI'er, og udbygge derefter, og advarer om, at det giver unødigt udviklingsarbejde og ubrugte data at tracke alt, hvad brugeren kan gøre. Tjek også, at de vigtige handlinger bliver registreret, og at trafik fra robotter bliver filtreret fra. Rodden og kolleger nævner begge dele som udfordringer for nøjagtige metrikker, og registreringen sker ikke altid automatisk.⁷¹

Navngiv events ensartet. Mixpanel anbefaler formatet objekt og verbum, fx song_played eller page_viewed, skrevet i snake_case. Navne skelner mellem store og små bogstaver, så sign_up_completed og Sign_Up_Completed bliver to forskellige events. Lav ikke dynamiske navne som »Purchase (11-01-2019)«, men brug én event med datoen som property. En event må hverken være for bred eller for specifik, og varianter af den samme handling hører hjemme i en property.⁶

Samtykke og GDPR

I Danmark gælder både cookiebekendtgørelsen og databeskyttelsesreglerne (GDPR), når du måler brugere via cookies og lignende teknologier, herunder pixels, fingerprinting og enhedens identifikatorer i apps. Ifølge Datatilsynets og Digitaliseringsstyrelsens fælles vejledning fra maj 2025 skal du som udgangspunkt indhente samtykke, hvis teknologien bruges til fx besøgsstatistik. Det gælder også, når et statistikværktøj fra en tredjepart indsamler data på din tjeneste. Undtaget er teknologier, der er teknisk nødvendige for, at tjenesten virker, så længe oplysningerne kun bruges til det. Digitaliseringsstyrelsen fører tilsyn med cookiereglerne og Datatilsynet med databeskyttelsesreglerne.¹²

Et gyldigt samtykke er frivilligt, specifikt, informeret og en utvetydig viljestilkendegivelse. Det skal indhentes, før du sætter cookies, det skal være lige så let at afslå som at acceptere, det skal kunne trækkes tilbage lige så let, som det blev givet, og du skal kunne dokumentere det. Et unikt bruger-id eller en IP-adresse er en personoplysning, selv om du ikke kender personens navn.¹²

Brugere, der siger nej, er ikke med i dine tal. Dine funnels og kohorter beskriver dem, der har givet samtykke, og den gruppe kan adskille sig fra resten. Skriv samtykkeandelen ind i rapporten, og få en konkret teknisk og juridisk vurdering, hvis du vil måle noget uden samtykke.¹²

Typiske fejl

Vanity metrics ser ifølge NN/g imponerende ud, men giver ikke indsigt i, hvordan produktet klarer sig. Eksempler er det samlede antal brugere, antal app-downloads, sidevisninger og delinger på sociale medier. Gør tallet til en rate eller en andel, fx downloads i forhold til trafik. Fører en metrik ikke til en handling, er den ifølge NN/g sandsynligvis en vanity metric og ikke værd at følge. Rodden og kolleger nævner desuden, at en funktion kan få flere sidevisninger, fordi den er populær, eller fordi brugerne farer vild i den.⁴¹

Analyse uden hypotese er en anden typisk fejl. Rodden og kolleger skriver, at datamængden kan blive overvældende, og at du skal afgrænse, hvad du leder efter, og hvilke handlinger resultatet skal føre til. NN/g anbefaler aldrig at følge en metrik kun for at måle noget og foreslår spørgsmålet »Hvad kunne vi gøre, hvis vi kendte dette tal?« Skriv hypotesen ned, før du åbner dashboardet.¹³

NN/g beskriver Campbells lov: jo større vægt en metrik får i beslutninger, jo mere sandsynligt er det, at den bliver manipuleret. I et eksempel talte en streamingtjeneste en konto som »reddet«, når en kunde forlod opsigelsesflowet uden at opsige. Det fik designerne til bevidst at gøre opsigelsen besværlig. Kunderne blev mere irriterede, ringede til kundeservice for at opsige, og mange konti blev opsagt alligevel. Kombinér derfor flere metrikker, så en forbedring ét sted ikke skjuler en forværring et andet sted.⁵

Ofte stillede spørgsmål

Kilder

1. Measuring the User Experience on a Large Scale: User-Centered Metrics for Web ApplicationsGoogle (Rodden, Hutchinson & Fu, Proceedings of CHI 2010) · Originalartiklen om HEART (Happiness, Engagement, Adoption, Retention, Task success) og processen Goals-Signals-Metrics. Kritik af PULSE-metrikker, Gmail-eksemplet, normalisering af rå tal, datakvalitet og triangulering med kvalitativ research.
2. When to Use Which User-Experience Research MethodsNielsen Norman Group (Christian Rohrer) · Definition af analytics og clickstream-analyse; kvantitative metoder svarer på hvor mange og hvor meget, kvalitative på hvorfor og hvordan; forskellen på hvad folk siger og gør.
3. Translating UX Goals into Analytics Measurement PlansNielsen Norman Group (Aurora Harley, 2017) · Fra mål til signaler til metrikker; mål aldrig noget kun for at måle det; spørgsmålet om, hvilken handling et tal kan føre til.
4. Vanity Metrics: Add Context to Add MeaningNielsen Norman Group (Aurora Harley, 2019) · Definition af vanity metrics, eksempler (brugere, downloads, sidevisninger, delinger) og anbefalingen om at bruge rater og andele.
5. Campbell's Law: The Dark Side of Metric FixationNielsen Norman Group (Page Laubheimer & Kate Moran, 2021) · Campbells lov, streamingtjenestens opsigelseseksempel, advarslen mod North Star-tilgangen og anbefalingen om at kombinere metrikker.
6. Events and PropertiesMixpanel Docs · Mixpanels datamodel (navn, tidspunkt, distinct ID, properties) og egne anbefalinger til navngivning af events.
7. Create a Tracking PlanMixpanel Docs · Trackingplanen som fælles kilde til sandheden; mål og KPI'er koblet til events og properties; start med det vigtigste frem for at tracke alt.
8. Interpret your funnel analysisAmplitude Docs · Hvordan Amplitude beregner samlet konvertering, krav om indgang ved første trin, konverteringsvindue (standard én dag) og største frafald målt i antal brugere.
9. RetentionPostHog Docs · Start-event og retur-event i PostHogs retention-analyse, og hvordan kohortetabellen læses.
10. About Analytics sessionsGoogle Analytics Help · GA4's definition af en session og standard-timeout efter 30 minutters inaktivitet.
11. [GA4] Funnel explorationGoogle Analytics Help · Funnel exploration i GA4, herunder åbne og lukkede funnels.
12. Brug af cookies og lignende teknologier (vejledning, maj 2025)Datatilsynet og Digitaliseringsstyrelsen · Samtykkekrav efter cookiebekendtgørelsen, bl.a. til besøgsstatistik; undtagelsen for teknisk nødvendige teknologier; kravene til gyldigt samtykke; personoplysninger; tilsynsfordelingen.