Som i et slags freudiansk parallel-univers, har en anden Ole Gregersen oprettet en side: http://www.yourservicesuck.com – der hedder "Danske Bank, your service sucks". Det er om ikke andet, en klar mening.

Jeg skal straks indrømme, at det ikke er mig der har lavet den side, men det gjorde ikke opdagelsen mindre komisk.

Så kære navnebror, held og lykke med dig foretagende.

/Ole

Til gengæld publiserede selvsamme Nielsen sit nyhedsbrev Alertbox samme uge og jeg synes faktisk at materialet var så godt, at det nu bliver en del af pensum. Nielsen siger ikke noget nyt, tværtimod, han siger det samme han har sagt i mange år, men han siger det bare godt og kort.

Så jeg vil gerne benytte chancen til at linke til hans indlæg om Interviews.

Jeg synes hans pointe omkring kravspecifikationer er uendelig god – også fordi jeg er tilhænger af argumentation der taler til  – hvad skal man kalde det – logikken, rationalet, den sunde fornuft…

Fordi mennesker ikke kan sige noget brugbart om hverken deres erfaringer med brug – eller omkring deres fremtidige brug, men kun om den brug der foregår i nuet, ja så giver det heller ikke mening at specificere brugen på forhånd. Fordi der deri ligger selvsamme modsætning, at sige noget om en brug der ikke foregår i nuet – og ikke er designet med forståelse af det.

Men snyd ikke dig selv, læs hans indlæg, Det er hurtigt gjort og du kan bruge argumentationen resten af dit liv, overfor andre og overfor din egen forståelse af hvorfor du arbejder med UX, HCI, usability eller lignende…

Så nu er det også pensum.

/Ole

På mange måder er det fuldstændigt det samme indenfor usability. Jeg får lyst til at rejse mig blandt kollegaerne og sige højt "Jeg er forandring". Og det er ikke bare fordi jeg er der. Det er fordi forandringen er en forudsætning for at arbejde med usability. Fordi den viden usability skaber, kun er værdifuld hvis den efterfølges af (eller indeholder) forandring.

Eksempel: Jeg laver et test af et element på en hjemmeside. Det kunne passende være www.fdm-travel-dk, som jeg arbejder med nu. Når jeg tester, indsamler jeg en masse viden, om potentielle problemstillinger ved et konkret element. Den viden understøtter en række postulater jeg bruger til at facilitere en designproces, hvorved det testede element forbedres og dermed skaber mere af den værdi der nu engang eftersøges. Hos FDM travel er det konverteringen, at gøre den besøgende til køber af en rejse.

Hvis vi lige læser den proces baglæns, så opdager man at forandringen (her som en design-variant på elementet) bliver et delmål. Så langt så godt. Vi kan også forudsætte, at der står lighedstegn mellem delene: Test = Viden om problemer = Postulater = forslag til re-design = (bedre konvertering) = Værdi. Ok, det lidt forsimplet, men du forstår…

Denne sammenhæng kan man som princip (med sindsro) indtænke i alle usability-processer. Sammenhængen vil altid være den samme, delene vil være forskellige.

En anden interessant pointe er, at man i denne "ligning", forstår de enkelte deles formål, fordi man forstår hvad man skal bruge resultatet af delen til. Det er vigtigt. Det gør potentiel resultatet mere værdifuldt, men det stiller også krav til processen.

Var der ikke denne sammenhæng, kunne jeg ligeså godt droppe at lave testen i første omgang. Men det er netop det der alligevel er tilfældet i mange organisationer.  Der laves usability-arbejde, fx test eller identifikation af brug/brugere – men denne viden får ikke reel indflydelse. Resultatet får ikke den fortjente påvirkning af slutmålet – enten fordi slutmålet er utydeligt, eller fordi der ikke er plads til – forandringen.

Fordi at forandre er oftest også at lave om. Hvad-enten det er på processen eller på produktet. Lave om koster penge. Lave om betyder at ændre andres arbejde. For nogle betyder 'lave om', at rette – og rette betyder at tingene ikke var gode nok i første omgang og det har nogle mennesker (og organisationer og processer) det svært med.

Så derfor er jeg én stor forandring. Fordi det jeg laver, kun er noget jeg laver for at lave om. Forandringen er mit arbejdes berettigelse og derfor skal mine forandringer altid implementeres og bruges.

Derfor skal jeg (og du) altid sikre, at jeg har mandat til at følge forandringen til dørs. Men så skal jeg naturligvis også stå til ansvar for at grundlaget er solidt, validt, dokumenteret – ja, at det holder i retten.

Som allerede antydet gælder det ikke kun produkter – det gælder i særdeleshed også organisationen og processen. Det er derfor Paul Sherman taler om at UX kompetencer implicit er Change Agents (du må selv google det). Fordi at vi altid, når vi først kommer igang, helt typisk ønsker at skabe forandring, søger at udvikle tingene på nye måder (fx ved at arbejde brugercentreret, eller især at få andre til det – se det er forandring!).

Den næste t-shirt ligger klar: I Am Change

P.s. Forandring er et af de hippeste ord indenfor politik for tiden, så lad os hoppe med på vognen. Usability er forandring!

Jeg siger til dem, at jeg kan tilbyde at de studerende på IT-Universitetet gennemgår deres website, med fokus på usability. Det er ikke noget dårligt tilbud, for de studerende bruger det bedste af et semester på at løbe en række metoder igennem, med websitet som case. Studerende som arbejder fuldtid i IT branchen og som er ved at uddanne sig på master-niveau.

Det er med andre ord et reelt tilbud. Langt de fleste gange får jeg da heller ikke noget svar

Så jeg undres og gør mig overvejelser omkring denne manglende interesse. Men gætter på at, et af flere forhold træder i kraft:

1) Den forkerte person får min email og ved ikke hvad han skal gøre ved den. Måske ved han det godt, men glemmer det.

2) Det er principielt den rigtige person der får den, med vedkommende ved slet ikke hvor man skal starte og tør ikke sige ja: "Vi ved godt vi har problemer med brugervenligheden, men det er ikke os selv der udvikler det og vi kan ikke få lov at ændre noget". Det var fx det indtryk jeg fik i Vanlosebio.dk, et site med masser af usability-problemer. Ingen kontakt = ingen interesse?

3) Man er simpelthen ikke interesseret eller forstår det ikke eller tror jeg lyver eller er bare ignorant (det kan godt komme ud på et)

Så hvad kan jeg (og du) lære?

A) At skrive en email ikke er nogen garanti for svar, heller ikke når det gælder service-virksomheder (ok, det vidste vi godt) - hvis man overhovedet kan finde en fornuftig adresse at skrive til. Jeg har fx skrevet til Apoteket.dk for at høre, hvem der tager ansvar for udviklingen af deres selvbetjening-info-standere på apotekerne, for at gå i dialog om brugervenligheden – ikke noget svar og ikke særligt nemt at finde ud af hvem der har lavet den. (Men standeren stinker også, så det kan man måske ikke bebrejde dem).

B) At selv gratis tilbud om konkret at arbejde med usability, ikke bliver modtaget med kyshånd i virksomheder, hvor det helt tydeligt ikke indgår i det daglige vedligehold af websitet. Og at den type forespørgsler ikke naturligt har en plads og bliver samlet op eller formidlet.

C) At der langt de fleste steder er rig lejlighed til at ændre på arbejdsgange, hvis man vil have bare nogenlunde styr på den User Experience ens produkts skaber – ja for ikke bare at tale om at der er uopdyrket værdi, der bare går næsen forbi.

Mon det hjælper (kva punkt C) at skrive "Hej, jeg vil helt gratis forære dig penge" – eller bliver den for tyk? Det er jo reelt det jeg spørger om?

En afrunding på denne misære kunne være. at usability stadig – selvom evalueringen modtages uden betaling – opleves som noget der koster mange penge (eller besvær) at gøre noget ved. Det kan det også godt, men man kan også godt starte i det små. Selv små ændringer kan jo have stor betydning.

Hvis man ikke selv forstår værdien, ikke selv har kompetencen og samtidigt er lidt bange for forandringer, så er det en cocktail der giver ovenstående handlemønstre.

Det er synd… (vi skrives ved)

Jeg får helt lyst til at sende flere breve. Ikke bare fordi jeg nu, meget lettere, kan klistre frimærket på brevet, men også fordi jeg efterhånden er træt af både email og facebook, når det kommer til god gammeldags, kærlig skriftlig kommunikation. Det var et "god-bedring Mormor"-brev der mindede mig om dengang…

Men hvorfor overhovedet frimærker? Her er en idé til Post Danmark:

Jeg poster bare mit brev, I sender mig regningen en gang om måneden.

Hvordan nu det. Jo, jeg har en aftale med Post Danmark, online naturligvis, der som iTunes bare trækker beløbet på min konto. Til denne aftale hører en kode, som jeg tydeligt påfører bagsiden af mit brev: OG.L9-2720. Et Voila!

Og hvis jeg nu ikke gider have en konto hos post-konglomeratet, så kan jeg naturligvis lige hente koden via en SMS. Naturligvis. Men hvem gider SMS, der er så håbløst langsomt og tungt.

Hvor svært kan det være. Nu skal jeg bare skrive brevet og poste det. Ja, jeg skal så stadig poste det, hvilket er røvsygt (jeg skal fx bevæge mig – og et bestemt sted hen, det er bare så 00'er-agtigt), men mon ikke man kunne finde en løsning på det også.

Hvad med postbudet. Han kigger alligevel ofte forbi. Han kan tage breve med tilbage. Så skal jeg bare skrive brevet og lægge det til postbudet.
Et VOILA!

Jeg kalder det eStamp – i lyset af, et der ikke er noget moderne dansk produkt – der hedder noget på dansk. Vel, "S-more"?

Nej, ok, vi kalder det iPost.

Der findes en række spørgeskemaet, som kan bruges til at undersøge, hvad en bruger mener om et system. En af dem hedder SUS – System Usability Score.

Den er fra 1986 – dengang usabiltiy var helt friskt og det væltede ud med metoder – men den holder sig som sådan meget godt (hvis du googler den, finder du nok en artikel elelr to der vurderer metodens brugbarhed).

Jeg blev inspireret til at lave en onlæine version på dansk, med Google Docs: http://spreadsheets.google.com/viewform?formkey=dG90ZE1idFVyMUtGWGtaVzRlMVpNcVE6MQ

Så prøv det. Tænk på et program (software eller en online service fungerer bedst) du har prøvet for første gang for nyligt og så udfyld skemaet.

Jeg har også givet adgang til resultaterne: http://spreadsheets.google.com/ccc?key=0Am2oHYF3M93fdG90ZE1idFVyMUtGWGtaVzRlMVpNcVE&hl=da

Men da jeg ikke er mester til Google Spreadsheets kan jeg ikke få den til at beregne score for hver ny besvarelse. Så kopier regnestykket over fra den øverste linje, ned til din egen (eller andre nye) besvarelser – for at se din SUS score. Den går fra 0-100.

God fornøjelse!

På vej i vuggestue smider hun ned på betonen. Hun har opdaget noget der skiller sig ud. Noget der adskiller sig fra det generelle billede:

Betonens ensartede grå overflade afbrydes af større sten. Hun så det straks, men ikke nok med det, hun blev også draget af det. Hun måtte ned og røre. Undersøge det. Mærke på det. Og barnet er kun halvandet år.

Det er med andre ord sandsynligt at denne adfærd er hardkodet ind i hendes perceptionsapperat. Evnen til at se ting der skilelr sig ud i en flade og nysgerrigheden der driver hende til at interagere med det.

Det er de samme mekanismer vi andre bruger til at interagere med brugerdialoger vi ikke har set før: "Hvad kan den?" – "Hvad sker der hvis jeg trykker her?".

Selvsagt kan vi både udnytte det og benytte os af det. Vi kan arbejde med opmærksomhed og hjælpe brugerens nysgerrighed på vej.

Behøver der stå "Klik her?"  Det gjorde der ikke på betonen den morgen, men Emma var ikke i tvivl.

Så bliver jeg kreativ:

1) Hvorfor skal det være så småt?
2) Hvorfor skal jeg bruge tastaturet så meget?
3) Hvad nu hvis det var en iPhone app?
4) Er der ikke noget med Fitt's law?

Fitts lov siger at den tid det tager at føre musen til noget som er relativ mindre, tager relativt længere tid – som fx de små radioknapper i eksemplet herover. Det sker fordi man skal være særligt præcis med sin kontrol over musen – noget der bliver en ekstra besværlig handling – en kognitiv belastning. Og dem vil vi jo gerne minimere, remember?

Det med at det er småt, ser man mange steder, jeg har tidligere beklager mig over paginering, som jeg synes er et godt symptomatisk eksempel:

Jeg tror der er flere grunde. En kunne fx være at musen (altså den pil du fører rundt på skærmen) er så lille. På en iPhone er alting lidt større, fordi man brugere fingeren. Man kan ikke ramme, hvis det er for småt. Det kan man på en stor skærm, men det betyder ikke at det er nemt.

En anden grund kunne være at HTML standard elementerne ikke har skiftet størrelse. De er i forvejen små, men de bliver stadig "mindre" som oplæsningen stiger. De skalerer heller ikke pænt og har reelt ikke nogen attribut til at styre deres størrelse.

Alligevel ser man flere steder disse indtastningsdialoger vokser, de bliver større, fordi man forstår at – at når fokus er på at indtaste, så gør det ikke noget tingene er store, tydelige og hurtige at flytte musen til.

Hvis man nu bruger iPhone som sammenligning – hvor musen jo er en fingerspids, der trods alt er lidt federe end musens repræsentation. Det kunne fx være denne datovælger:

Datovælgere er efterhånden udført sådan at man kan vælge datoen med musen – og tak for det. Hvornår kommer valg af by med et verdenskort? Det behøver ikke være præcist, der kommer alligevel konkrete forslag bagefter, men jeg behøver ikke løfte hånden fra musen. Hvilket er lækker hvis jeg sidder og hyggerbrowser dovent efter den rigtige rejse.

Man kunne også lade sig inspirere af iPhonens rullemenuer. Hvis man tænker frem, kunne man så forestille sig at brugerne bruger musens scroll-hjul funktion til at vælge dato:

Og der er vel ikke noget i vejen for at lave web-versionen i den størrelse. Når man som bruger er gået igang med at vælge og indsætte oplysninger, så skal man ikke andet og derfor kan man godt argumentere for at det tager hele fokus.

Langt de fleste dialog online, der kræver indtastninger (fx logins, tilmelding til nyhedsbreve, periode valg) har kun få felter og derfor kan de godt fylde mere.

Det var i gamle dage at alting skulel være småt online. Det er ikke cool mere. Nu skal det være STORT! Design og brug går hånd i hånd, hvor usability er storebror og det grafiske design er med for hyggens skyld Ellers sagt på en anden måde. Designet skal bare være i orden. Det er brugen der er den store værdi-skaber.

Hvornår kommer der en version af Google, hvor søgefelter er 3 gange så stort?

Bare vent og se…

(tilføjelse):

Det kan godt være at ovenstående ser stor og barnlig ud, men det er godt nok tydeligt og overskueligt at gå til.

Her er lige en mere fra AOK:

Hvad var det lige jeg var igang med? – nå jo, jeg søger. Hvad søger jeg efter?

Pointen her er, man som bruger nogle gange skal igennem mange forskellige online "user experiences", interaktioner om man vil, der tilsammen bliver til den samlede oplevelse af at handle – fx en rejse. Det kender vi fra vores hverdag – tænk bare på at tage bussen til et storcenter og købe en is. Men online er deloplevelser ofte knyttet sammen i sammenhængende services, hvor et website linker til relateret service på et andet.

En kæde er ikke stærkere end det svageste led – særligt hvis de hænger sammen. Det gør de tit. Et tilbud et sted, hænger sammen med et andet et tredje osv. Særligt når der opstår problemer, så hænger problemet ikke på den service man startede hos, men hos en helt anden. Måske en med et andet sprog, med en anden online kvalitet.

Så begynder der at være problemer med oplevelsen af sammenhæng og den faktiske sammenhæng - og det går næsten altid ud over brugeren.

Spørgsmålet er: Kan man styre denne afhængighed, denne overlevering af brugeren fra en service til en anden.

Det forholder sig som i den virkelige verden. Det kan vi kun til dels. Men vi ved også godt, at hvis der problemer, så bliver alle inddraget i den dårlige oplevelse. I sådan en kæde af services, er det ofte bestemte led der samler problemerne op, fordi netop dette led har en ordentlig kvalitet. Vi søger tilbage til dem med den bedste service. Vi bliver sure når de ikke kan løse problemet for os. Og det er ofte det første led i kæden der tager slæbet.

"Goddag – jeg har lejet en bil hos jer" – "Nej, det har du teknisk set ikke, vi har lejet den hos nogle andre for dig". "Goddag, jeg har lejet en bil hos jer, den er blevet skadet" – "Nej, så skal du ikke tale med os, men med vores forsikring" – osv…

Den store lære her er – at begrebet User Experience kan noget interessant, som "Usability" ikke klarer alene. Nemlig at beskrive den oplevelse en kunde/bruger sidder tilbage med. Den samlede oplevelse.

Derfor tvinger UX os til at tænke stort og bredt. Ikke bare fra søgemaskine til udbetalings-specifikation, eller hvad der nu er i enderne, men også vores placering i en brugers samlede oplevelse.

Hvilken service og erfaring kommer brugeren fra? Hvorfor faldt valget på os denne gang? Hvilke andre services skal brugeren igennem når vi er blevet valgt som udbyder af en service? Hvad er kvaliteten af de samarbejdspartnere vi har? Tester de usability som vi gør? Tør vi tegne makro end-to-end forløb og tage ansvar for kvaliteten hele vejen? Har vi styr på alle de sjældne og udfordrende situationer vores kunder samlet kommer i?

De virksomheder der arbejder på at skabe loyale tilbagevendende kunder, ved godt at der skal sættes ind her. På det gode samlede servicedesign. Alle de andre sikrer blot at købet er i hus, så må kunden bøvle med langsommelige, uvelkomne services, når lokummet virkeligt brænder på – der tisses i bukserne: Det er dyrt at passe kunderne, så det spares der på – til gengæld taber man kundernes loyalitet. De vender ikke glade tilbage.

Så det superlækre og brugervenlige website, bliver afløst af manuelle, email og telefon-baserede irritationer. Intet er længere smart og automatisk, hjælpsomt eller gennemtænkt. Nu er det laveste fællesnævner, spildtid og gentagelser der præger løsningen. Sådan som tingene fungerer, når ingen går ind og arbejder aktivt med at skabe en god brugerdialog.

Det er en farlig kurs, som jeg så selv oplevede på min egen føromtalte rejse. Og nej, jeg bruger ikke den udlejningsservice igen.

Hele pointen med denne blog er at give dig mulighed for at blive inspireret eller oplyst via de erfaringer jeg gør mig – derfor skal du ikke snydes for mine nyeste forståelser indenfor emnet.

Kært barn har mange navne: Ekspertvurdering, usability evaluering, expert review, heuristic evaluation – Hvorom disse begreber ikke dækker over det samme, så er der vigtige metodiske overlap:

1) De tager alle udgangspunkt i vurdering af et IT-produkts brugbarhed UDEN direkte inddragelse af produktets brugere.
2) De er alle til dels subjektive, sådan at forstå at det er enkeltpersoner der subjektivt tager stilling til produktets kvalitet.

Fra min stol er der to grundlæggende udfordringer med disse metoder:

1) Fordi de er subjektive – hvor enkeltpersoner udfra en eller kontekst finder og definerer problemstillinger – så giver de statistisk set aldrig helt den samme mængde af problemer, nærmest uanset hvor mange gange de gentages. Er dit bud ligeså godt som mit?

2) Metoderne kan udføres på mange forskellige måder og jeg oplever det som svært at give en god entydig beskrivelse af hvordan det gøres godt. Hvordan kommer jeg igang med at lave en fornuftig evaluering af et website?

Metodeoverblik
Jeg kunne lige starte med at ridse noget metodisk landskab op:

1) Cognitve walkthrough – kognitiv gennemgang. Som navnet antyder, ser metoden på den kognitive belastning en bruger oplever i interaktionen med en brugerdialog. Metoden tager udgangspunkt i Human Action Cycle som vi kender den fra fx Donald Norman. Med udgangspunkt i dennes trin, spørger man til hvilke kognitive belastninger brugeren vil opleve undervejs i interaktionen. Det hedder walkthrough fordi man systematisk gennemgår en opgaves trin (fx via task analysis) og stiller de samme grundlæggende spørgsmål til hver sekvens

Det handler mest om indlæring (ease of use), men deri ligger jo også brugbarheden. Er det let at lære, så er det nok også let at bruge. Omend denne metode er lidt stringent og ingenøragtig - så er den supergod som forklaringsmodel til evaluering af brugbarhed. Det svære ligger i, at man som evaluator skal forstå/vide/have erfaret, hvad der giver brugeren kognitiv belastning.

2) Så et spring i en helt anden retning: Metaphors of thinking. Her er jeg nærmest ovre i den diamentrale modsætning, men igen er det en ikke-empirisk evalueringsmetode, med subjektiv gennemgang at brugergrænseflader. Denne metode tager udgangspunkt i 5 metaforer, der beskriver den menneskelige handlen og tankeproces (überkort fortalt). Det kan fx handle om dannelsen af vaner og hvordan en brugerdialog kan understøtte etableringen og brugen af vaner (som jo er en blanding af erfaringer og menneskelige kognitive processer). Denne metode er på papiret langt sværere at gå til, fordi det kræver forståelse for metaforerne og den bagvedliggende forståelse af disse.

3) Heuristisk evaluering (HE). Jacob Nielsen og Rolf Molich's udødelige klassiker, som nok mest overlever idag som navn, snarere end som specifik metode. Så HE bliver tit en slags massebetegnelse for alle typer evalueringer, om der så står ekspert, usability eller heuristisk foran. Metoden trækker på 10 såkaldte heuristikker (fordi de ikke turde kalde de "principper" ), hvor evaluatoren forholder identificerede problemstillinger med disse 10 forhold omkring "God skik og brug".

(Husk at se Rolf Molich's gentagne og påtrængende sammenligning af evalueringsmetoder i Comparative Usability Evaluation undersøgelserne).
(Se eventuelt også dette paper om variationer eller forbedringer af HE: A comparative evaluation of heuristic-based usability inspection methods).

Tre perspektiver
Det var tre metoder, tre perspektiver, tre grundlag at spørge ind med. For de første to er det påkrævet at opstille en kontekst for gennemgangen, typisk de opgaver som brugeren søger at løse i produktet. Min erfaring er, at det også er en meget god idé for HE. Den kontekst kan være meget forskelligartet: Det kan være personas, det kan være funktioner/features, det kan være resultatet af en spørgeskema – men det er det man vælger at fokusere gennemgangen imod, en ramme, en afgrænsning.

HE kan man også tage mere generelt, som en slags tjekliste, men det kræver at kan oversætter heuristikkerne til regler for godt interaktionsdesign, så man ved hvad man skal se efter. Dermed kommer man (som jeg oplever det) potentielt kun længere væk fra den faktiske (formodede) brug.

Men når nu det hele handler om en individuel, subjektiv vurdering, hvordan så med validitet og ikke mindst reliabilitet  – altså hvor vidt vi reelt får svar på det vi spørger om og især om gentagne evalueringer kommer til samme resultat. Grundlæggende må man nok acceptere at disse metoder minder om smagsdommeri. Om et slags peer-review, hvor en der ved lidt bedre, giver sit besyv. Derved kaster jeg umiddelbart en hvid pind efter disse begreber, måske mest efter HE, der kun er funderet på sine 10 (delvist forældede og software-relaterede) heuristikker. Men hvis jeg ved at der er problemer med resultaterne, så kan jeg også bedre forhold mig til dem.

Udfordringerne
Så tilbage til de to udfordringer:

1) Ja, de er subjektive – så hvad gør man der? Målet må være at finde en måde at påpege kvaliteter i den måde de udføres. Et kunen være at påpege evaluatorens kvalitet igennem dennes erfaring og evner. En anden kunne være at opstille brugerens mål og opgaver, for at henvise til den værdi der kan skabes i det evaluere netop denne. En tilgang kunne være at beskrive helhedsorientering og systematik (altså metodik), for derved at kunne gentage og sammenligne resultater. Det gør ikke metoderne mindre subjektive, men udstiller så svar på denne udfordring og angiver derved en kvalitet. Metoderne angiver naturligvis at flere evaluatorer udfører metoden, sammenligner og prioriterer problemer, for derved at konsolidere disse.

2) Hvordan udføres en evaluering bedst muligt? Hvor skal man starte? Det kommer an på hvad formålet er. For de studerende, der potentielt aldrig har lavet en evaluering før, er det underordnet om man bruger heuristikker eller andre former for usability-relaterede principper og regler. De skal blot have noget at læne sig opad. På sigt opbygger de deres eget katalog af heuristikker og opøver derved noget der med rette kan kaldes for "ekspert-gennemgang". Jeg tror meget metodevalget afhænger af hvad man vil. Fordi evaluering af websites ofte er mere generel, ikke kun ser på løsningen af en specifik afgrænset opgave og ser på den samlede oplevelse, så er det nemmest at gå efter HE. Men resultatet bliver derefter. Det bliver lidt på overfladen og det bliver potentielt falske positiver – problemer der faktisk ikke er problemer for de virkelige brugere.

Svaret herfra bliver derfor – brug HE og de retningslinje-orieterede tilgange til det generelle og det "lette". Brug de andre metoder til det specifikke og opgave-relaterede.

Jeg er ikke færdig med disse metoder, men jeg er nu blevet langt klogere på hvilke der er, hvad deres udfordringer er,hvordan jeg kan retfærdiggøre brugen af dem og hvordan jeg kan argumentere for at levere en evaluering af en god kvalitet.