Posts Tagged ‘usabilitymål’

Skal I også i gang med at måle på usability?

lørdag, april 23rd, 2011

Der er en klar trend i tiden synes jeg, omkring at måle på usability. Måle i den forstand, at få fingre i nogle tal, der kan give indblik i hvordan vores brugere handler. Og her taler vi ikke bare om at se besøgstal i Google Analytics, men også om at få nogle kvantitative svar på forskellige brugs-relaterede spørgsmål i forskellige brugs-relaterede kontekster. Hele tiden med ønske om mere konkret at få indblik i 'kvalitet i brugen' af vores produkt. Lad mig give et eksempel:

Usability KPI i en kommune

En kommune i hovedstadsområdet ønsker helt overordnet at sætte sig en række mål for brugen af kommunens digitale services – alt fra antal henvendelser i borgerservice om barsel til antallet af downloads af bestemmelser omkring sygefraværsregler. Behovet udspringer primært fra tankegang (tror jeg) omkring at styre fremdrift igennem måling – altså en form for ledelsesstrategi. Det betyder at kommunens afdelinger skal definere en række KPI'er – målepunkter på deres ydelser – og på et mere systematisk niveau kunne afgøre om der sker fremdrift på baggrund af de aktiviteter og initiativer/projekter der sættes i søen. Det giver sikkert alt sammen udmærket mening.

Webafdelingen i pågældende kommune står nu overfor en udfordring, om ikke andet, så som kompetence på det digitale område og ansvarlig for at hjælpe resten af organisationen på vej: Hvilke målepunkter skal der opstilles (på vegne af hele kommunens online servicestruktur) og hvordan skal disse måles?

Jeg blev inviteret til at give lidt input, gennemgå et par måder at måle på usability og tage en diskussion med nogle af medarbejderne omkring hvordan de skulle bevæge sig fremad i den proces. Her er i korte træk hvad vi talte om:

Første trin er at beslutte hvad der skal måles på. De enkelte afdelinger har nogle svagt definerede ønsker og forskellige politiske prioriteter, men trænger til at kigge på to ting: Den ene er at få defineret hvad der skaber værdi for kommunen (eller afdelingerne) og den anden er at undersøge hvad der skaber værdi for brugerne. Værdi kan være at have færre borgere der ringer til kommunen og i stedet selvbetjener sig til svar/løsninger. For begge parter er dette en nemmere og hurtigere løsning = værdi. Målet er selvsagt at skabe mere af den værdi for kommunen, ved at forøge værdien for borgerne (det er jo en slags essens af det arbejde med usability).

Hvordan kan den værdi så måles? Det kan være gennem helt almindelig statistik, altså besøgstal eller lignende. Både på den online del, men også på presset på telefoner og email. Uanset hvordan vi skaber den viden, så vil den blive et udgangspunkt, det vi med fint kan kalde for et benchmark. Der vil også blive behov for nogle tilgange til at teste/måle, hvordan brugen udvikler sig, efterhånden som vi re-designer vores digitale services.

Fra den viden kan man også forsøge at skabe nogle usabilitymål. Et usabilitymål kan indeholde en beskrivelse af hvem der skal kunne hvad og i hvilken grad, samt naturligvis et niveau der skal opnås. Så kan kommunen fra test til test, vurdere om der er fremdrift.
En begrundelse for at tale om usabilitymål og for at se på andre tilgang en at kigge på brugs-relateret statistik, er at fx besøgstal og bouncerate%, ikke siger noget om hvor svært brugerne har ved fx at forstå regler eller love. Der skal andre metoder til.

Tre måder at måle på brugen

Den typiske tilgang er at lave brugertests. At stille repræsentative brugere repræsentative opgaver og tage bestik af hvordan det går. Det giver masser af input til at forbedre de digitale services, men der kan være en udfordring omkring at måle på disse tests. Uden måling kan vi ikke arbejde med målepunkter. Men til en start kan man sagtens få tal ud af brugertests, fx den procentvise gennemførelse af testopgaver, antal klik eller den tid det tager at løse opgaven (alt efter typen af test).

En anden tilgang kan være at gå mere digitalt til værks. Her kommer kommunen lidt til kort, fordi der ligger en række tekniske begrænsninger for hvilke værktøjer der må implementeres på kommunale hjemmesider (hvilket jeg personligt synes er bullocks). Men hvis vi lige ser bort fra det, så kunne en tilgang være hændelses-sporing.

I Google Analytics hedder det også Event Tracking. Det er et spændende og relativt nyt fænomen. Fordelen er at der kan opstilles hele specifikke handlinger online, som tælles og opsummeres i Googles Analytics interfacet. Det kan være klik på bestemte elementer, udfyldning af felter, downloads eller alt muligt andet. Det giver mulighed for at komme lidt mere i detaljen end blot sidevisninger og besøg. Det giver også mulighed for at måle på handlinger der foregår på den enkelte side eller opsamle sammensatte handlinger, som man fokuseret ønsker at tælle.

Denne metode giver ikke indblik i hvorfor brugerne handler som de gør, men prøver i stedet at fokusere på at tælle ønskede handlinger, som et symptom (eller målepunkt) på kvaliteten af brugen.

En tredie tilgang kan være at lave A/B eller multivariant test, hvor forskellige variationer af en hjemmeside, eller dens elementer testes live op mod hinanden. Det er også et område under stor udvikling, som har en vis iboende evidensbaseret styrke, fordi man direkte kan måle hvordan forskellige designs klarer sig.

Det kan gøre på mange måder, fra at teste en enkel sides evne til at skabe flere most-wanted-actions, til at vurdere om en hele sekvens af sider får flere brugere til at gennemføre et bestemt forløb. Om det bruges til e-handel eller til regler for sygedagpenge er som sådan underordnet.

Hvad skal vi måle på?

Så lang så godt. Tre forskellige tilgange som har hver deres styrker og svagheder, som til dels kan minimeres ved at afvikle dem sideløbende. Men også tre tilgange som alle har som forudsætning, at man ved hvad man vil måle på.

Så den største opgave, også for omtalte kommune, er at definere: Hvad vil vi måle på og hvilke mål skal vi sætte for brugen?

Kommunen valgte at starte med at indsamle viden. Lave brugertest og spørgeskemaer, for at få et indtryk af den nuværende brugs-situation(er).

Men kommunen er blot et eksempel. Samme behov opstår i denne tid naturligt i mange andre virksomheder, hvor ledelsen meget gerne vil have bedre styre på fremdrift og værdi af alle de digitale services. Men ikke bare værdi som besøgstal eller antal klik – også værdi som kvalitet i brugen – fordi den kvalitet i stigende grad er en afgørende faktor i virksomhedens strategi.

 

/Ole Gregersen

At bage – en kvalitets-kage

onsdag, maj 27th, 2009

Dette indlæg er primært et link til en anden artikel: “Follow the Recipe” på UXmatters.com. Er din tid knap, så stop med at læse her og læs der i stedet.

Mit take er, at artiklen arbejder med at forstå hvorfor vi skal have beskrevne processer for arbejdet med usability, hvorfor det giver mening at følge dem og – som er artiklens omdrejningspunkt – hvorfor man kunne tænkes at fravige disse processer. Det er nogle gode overvejelser, der sætter mine tanker på to spor.

1) De mest interessante begrundelser i artiklen, er efter min mening ikke mangel på ressourcer. Mere relevant tror jeg det er, at se på det bevidste valg (som også kan være på baggrund af mangel på ressourcer) eller at se på den manglende erfaring.  Jeg tror dog at det i endnu højere grad handler om det ubevidste valg (som trods alt også er en slags mangel på erfaring), et ubevidst valg der (ikke) fortages, fordi der ikke er forståelse for hvilken betydning processerne har og hvorfor den kvalitet der kommer ud af det er vigtig.

2) Og netop kvalitet synes jeg er et meget interessant begreb. Usability er en kvalitetsegenskab, men kvalitet er en svær og underlig størrelse. Jeg ved meget om usability som kvalitet, men ikke så meget om kvalitet som grundlæggende idé. Men umiddelbart tænker jeg at kvalitet er svært, fordi det er en samlet, tværgående størrelse, noget der både ligger hos den enkelte, men som også opstår af helheden. Det er noget der ikke opstår af sig selv, men som skal passes (selvom alt har en kvalitet). Det skal passes fra start til slut (og også bagefter..), med evaluering og justering undervejs. Det handler om styring, om motivation og alt muligt andet.

Så overordnet mener jeg vi skal lære at forstå kvaliteten. Vi skal forstå hvad den koster og hvad den er værd. Vi skal forstå hvordan den passes igennem en række processer og hvordan den enkelte bidrager til det.

OLe

Sig CISU-R til dit Projekt-ür (bedre titel søges…)

onsdag, maj 20th, 2009

Jeg har tidligere skrevet om ressourcer (dokumenter) til usability-kriterier. Mere præcist har jeg henvist til Common Industry Specification for Usability – Requirements – eller CISU-R. Ganske fortinligt dokument viser det sig (ved granskning). Faktisk understøtter det en af mine kæpheste (eller darlings (don’t kill it!)), nemlig det at opstille usability-mål for det projekt eller produkt man arbejder med. Idéen er helt rationel og logisk: Hvis man ikke sætter et mål for hvor brugbart noget er, så kan man heller ikke vurdere om man har opnået det niveau.

Jeg har gjort mig en del tanker og etableret mig en forståelse omkring brugen af usability-kriterier og -mål. En forståelse jeg så prædker, primært på IT-Universitetet: På samme måde som de fleste af mine andre mentale modeller, så ender formidlingen ofte i noget tre-punkts-form. Usability-kriterierne har jeg passet ind i en model med: Brugssituation (brugere, mål, brugskontekst), Usabilitymål (kvalitet) og Produkt (adgang til ressourcer og kompetencer). Den opstilling synes jeg er frugtbar. Grunden til, at jeg nævner den her er, at CISU-R præsenterer en anden og tilsvarende tre-punkts-liste, som på mange måder er relateret. I den indgår: Context of Use, Performance and Satisfaction Criteria og Test Method and Context for Test. De to opstillinger vil lidt det samme, jeg har blot taget teknologien mere direkte med, mens CISU-R holder lidt mere fast i sammenhængen mellem kriterier og test til vudering af deres opnåelse.

CISU-R er en ramme, en mængde informationer der skal tilvejebringes, en bunke beslutninger der skal tages. Dertil er dokumentet fyldt med eksempler og skabeloner, så det er også ret handlingsanvisende.

Uanset. Jeg synes CISU-R er superfedt, fordi det også passer ind i en problematik jeg gerne arbejder med: Hvad er det der mangler i udviklingsprojekter, for at sikre, at der bliver arbejdet seriøst, professionelt og kompetent med usability. Svaret ligger i CISU-R. Og det er: Specificering af usabilitykrav!

Det er ikke krav til brugergrænsefladen. Det er ikke funktionelle krav til interaktion (der måske, måske ikke er brugervenlig). Nej, det er specifikke usabilitykrav, som understøtter og komplimenterer de øvrige funktionelle, processuelle og kvalitetsorienterede krav.

Det er såre simpelt. I kan ikke arbejde med usability, hvis ikke I stiller krav til det. Det giver ikke mening at slås om ressourcer, testmetoder eller udviklingsproces, hvis ikke der er enighed om, at der skal opnås en bestemt kvalitet i brugen af produktet. Den kvalitet fordrer processen, metoderne og behovet for kompetencer – eller skulle det i bedste fald.

Jeg arbejder selv til daglig i en virksomhed som ikke direkte stiller krav til usability. Der stilles mange andre krav, hvoraf flere er relaterede. Men også derfor er arbejdsprocessen omkring håndtering af usability ikke fastlagt. Den er beskrevet, men bliver – som mange mange andre steder – hånderet lidt lemfældigt (og det er pænt sagt).

Det lækre ved CISU-R, er at den tager opgaven meget alvorligt, hvilket jeg også tror er måden gøre det på, i den moderne, dokumentations-fikserede, modenheds- og certificerings-fokuserede, styringsliderlige softwareudviklings-verden. Der henvises til ISO-standarder i flæng og det beskrives hvordan CISU-R passer ind i alle mulige seriøse  og gennemdokumenterede proces- og metode-beskrivelser.

Men igen. Kunsten er at få etableret usabilitymål i den organisation man indgår i. Som en del af den fælles strategi, som et eksplicit kvalitetsniveau produktet skal opnå.

Tilbage er kun at argumentere for værdien af denne proces (i rigtige penge). Det findes der med garanti også et godt, praksis-orienteret svar på derude…

Lad os komme igang med at specificere vore usability-krav.

Ohür