Posts Tagged ‘FDM travel’

Eksempler på split-tests, mine og andres

tirsdag, december 13th, 2011

Lad mig starte med at henvise til en blogpost om erfaringer med splittest, weboptimering, konverteringsoptimering – kært barn osv:

http://www.jacobworsoe.dk/danske-split-test-cases-17.html

(Husk også at se nede i indlægget kommentarer, da der ligger links til en den andre cases og tutorials.)

Så er der jo også Which Test Won, hvor der som minimum er en test man kan tjekke ud, desværre koster det nu penge at kigge i deres arkiver (det måtte jo komme).

Husk nu, at det der virker for de andre ikke nødvendigvis virker for dig :-)

Du må selv i gang med at teste – så, det er så nemt at sige. Så min julegave til dig er at jeg i det nye år, selv vil kreere en kom-godt-i-gang guide til Optimizely, som er mit foretrukne værktøj.

Jo, jeg kan da godt stikke dig en case, så kan du vurdere om det har værdi for dig. Se når man lytter til de kloge konverteringshoveder (sådan nogle som mig :-) ), så siger de "Remember the importance of whitespace". Med andre ord, husk at god plads rundt om grafiske elementer gør dem "tydeligere", gør dem nemmere at finde og at trykke på. Så jeg lavede en lille test, hvor jeg blot lavede lidt mere plads rundt om "Gå til betaling" knappen. Man ved jo aldrig…

Her er de to variationer, klippet ud af deres kontekst. Den originale side først:

Optimizely original version

Og her så variationen med mere luft om knappen:

Optimizely, variation med mere luft

Ikke så meget hokus pokus der, men det er der til gengæld i resultatet (klik for billedet for at se det i større version:

Optimizely graf med udvikling i konvertering

Resultatet er at 13% procent flere gennemfører købet – og der er en side ind i mellem, vel at mærke. Det er endda en ret præcis måling, for konverteringerne styres af et javascript event på modtagersiden og ikke et tryk på knappen. Der er over 500 konverteringer og en signifikans på over 98%. Dejligt solidt i denne sammenhæng.

Så du kan roligt gå i gang med at sikre at der er luft om knapperne  – hvis du altså tror på det de resultater kan overføres til dit site :-)

God jul!

/Ole

Konverteringer nede i tragten: Det klistrer til brugeren?

mandag, september 26th, 2011

En af de ting der er lidt tricky ved hele optimerings-ræset er at konverteringer på den side du tester, kan have betydning for brugernes handlen på andre sider. Helt typisk kan en optimering et sted i "købs-tragten" have betydning hele vejen ned gennem tragten. Eller med andre ord: Optimering er ikke kun lokalt – fra en side til en anden – men er med til at sætte en stemning, give begreber, antyde, skabe forventning eller hvad man nu vil kalde det.

De seje konverteringsdrenge, det kunne fx være Craig Sullivan, har styr på (eller foregiver at have styr på) hvordan optimeringer på fx en landing-page, giver de bedst mulige konverteringer hele vejen fra de forskellige version af design brugeren ser, til brugeren foretager makro-konverteringer, altså den afsluttende endegyldige konvertering (som jo typisk er salget).

Han viser det således:

Læs punkterne under billedet, så forstår du hvad han prøver at beskrive (vær opmærksom på at han var "vendt" tallene og taler om damage assessment).
Ok, ingen tvivl om at det er virksomheder med en høj "konverterings-optimerings-modenhed" der kan præstere den slags. Men jeg vil gerne prøve at vise hvordan noget lignende opstår i de test jeg selv laver.

Her har jeg prøvet at indsætte nogle elementer der har givet forbedret konvertering på 4% på en anden siden (husk lige at læse min svada om at disse tal er relative og at du derfor ikke kan bruge dem til at sammenligne med dit eget projekt). Helt naturligt tænker jeg at disse med fordel kan indsættes flere steder og trække de samme forbedrede konverteringer.

Efter en kort periode kan jeg aflæse disse tal i Optimizely:

Øverste graf er et udtryk for hvor mange konverterer på den side jeg tester, altså mikrokonverteringen. Trenden ser indtil videre god ud, selvom den statistiske usikkerhed er for lav. Hvad er endnu mere interessant er grafen derunder. Den viser hvor mange der har lagt et produkt i kurven, altså det trin der kommer efter. Her slår ændringen også igennem, selvom der ikke er nogle ændringer på den side. Den hurtige konklusion er at ændringen på 1. niveau hænger ved hos brugeren. Ja, hvis jeg troede på tallene, så ser det ud til at det giver endnu højere konvertering.

Jeg har altså et værktøj som kan give mig overblik ned gennem vores købstragt, selvom det naturligt tager meget længere tid at få troværdige resultater, jo længere ned i købstragten brugeren kommer (ja, brugerne falder desværre fra…).

Nu er der så gået et par dage og jeg kigger på resultaterne igen:

Øv, nu ser billedet anderledes ud. Jeg er i minus! Og den statistiske usikkerhed er faldet til under 10% – der er altså lang vej igen. Linjerne i den nederste krydser endda hinanden, så resultatet er ikke ligefrem entydigt.

Hvad lærer jeg så af det:

  1. Ændringer i design har indflydelse længere end blot på den side hvor testen gennemføres.
  2. Man skal tage mål for statistisk usikkerhed alvorligt, data ændrer sig undervejs.
  3. 200 konverteringer (eller lignende tal) behøver slet ikke være nok, der er andre faktorer i spil.
  4. Meget trafik er ikke i sig selv garant for entydige resultater – jeg har 7.000 pageviews på min testside om dagen, men det tager mig alligevel uger at få et statistik troværdigt resultat.
  5. Er det her jeg skal blære mig med at den her side har en engagement% (altså brugere der klikker på noget, modsat bounce rate) på 90%.

Nå ja, den her artikel siger at man slet ikke skal optimere for mikro-konverteringer.

Nu lader jeg denne test køre en tid mere, så kan jeg fortæller hvordan det så går (fortsættelse følger).

Jeg er ikke længere “brugernes advokat”

torsdag, februar 10th, 2011

(Kommende indlæg handler om den praktiske brug af min optimeringsmodel fra sidst, men jeg springer lige til noget andet).

I går deltog jeg i UXbookclub i København, en lille klub jeg kun kan anbefale. Vi talte (efter at have talt om Donald Normans nyeste bog) om at sælge usability til de uindviede. Gammel diskussion, som blusede op i går, på baggrund af Normans gentagne henvisning til de klassiske problemstillinger, om ikke at inddrage brugere osv osv. Vi troede den var død, men den lever i bedste velgående – (ok, måske alligevel ikke den store overraskelse).

Jeg meldte lidt højrøstet ud at, man skal vende organisationer og virksomheder ryggen, som ikke prioriterer brugerorienterede designprocesser og usability, fordi det er en grotesk kamp op ad bakke – de skal have lov at sejle deres egen sø. Det er i høj grad min egen tilgang, efter at have arbejdet i sådan en virksomhed. Men jeg fik også lidt af en nåhr-ja-oplevelse, fordi det viste sig at andre deltagere i bogklubben, faktisk finder selvsamme udfordring interessant. Og det kan jeg sådan set godt forstå. Uden at jeg dog tror at det løser noget eller ændrer meget (men den tager vi en anden gang Ole – dit mavesure gamle fjols, sagde hunden).

Nå, men i den snak sagde en anden deltager: "Vi er grundlæggende brugernes advokat".

Det er et udsagn jeg i princippet er enig i og som jeg selv har brugt mange gange. Pågældende person vil med garanti kunne uddybe udtrykket – men hvis jeg ser på det isoleret, så må jeg indrømme at jeg egentligt synes det er misvisende og potentielt farligt at bruge det som udgangspunkt – eller som forklaringsmodel.

Lad mig prøve at begrunde det: Helt grundlæggende laver vi jo ikke brugervenlige hjemmesider og applikationer for brugernes skyld, vel?
Vi laver dem, som forretning, for vores egen skyld. Oftest for at tjene (eller spare) penge. Det er fordi vi tror på, at kvalitet i brugen giver øget værdi, så vi eftersøger den kvalitet. Derfor bør vi argumentere ud fra helt grundlæggende investeringsmæssige overvejelser omkring hvorfor vi synes at produktet skal være effektivt. Det er fordi at brugerne så kan løse flere opgaver, hvilket gør produktet mere værdifuldt, hvilket – osv, osv. – eller lignende sammenhæng.

Forskellen ligger altså i begrundelsen. Og det er sundt at vende den på hovedet, både for os usabilitykompetencer og for dem vi kommunikerer med.

For os selv ligger der et fokus som vi ofte glemmer, nemlig fokus på hvordan den værdi der "skabes i brugen" kan plansættes og målrettet kan måles og opnås. Jeg kommer desuden selv ofte til at springe usability-målene over, fordi det er lidt svært og tungt at opsætte og måle på deres gennemførsel. Det er i mange situationer en rigtig stor udfordring, men igen fordi hele tilgangen til IT-udvikling har et andet forståelses-fundament.

Skal jeg fortælle mine chefer om glæden ved usability, så lytter de til gengæld mere til mig, hvis jeg kan omsætte antal tilmeldte til nyhedsbrevet til værdi og arbejde struktureret på en fremgang – end hvis jeg taler om "brugervenlighed", "brugernes advokat", "de stakkels brugere", "de onde ingenører", "det skal være let at bruge", osv.

Begrundelsen i værdi, i kroner og ører, har direkte hul igennem hele vejen op og ned gennem forretningen. Samtidigt er det lidt en varm klud i hovedet på dem der ønsker at gøre usability til noget humanistisk, fodformet ammestue-arbejde, fordi argumentet om øget værdi (som oftest) er stenhårdt. Derudover tvinger det sig ind over alle andre opgaver i udviklingsprocessen og kan, hvis det bliver en drivende kraft/prioritet, pludseligt vende rollerne helt på hovedet.
Se det er der fandme noget ved kan jeg godt love dig! (ahem, got carried away, sorry).

Problemet er ofte at mange i organisationen ikke kan forholde sig til "brugernes advokat", på andet end et emotionelt, menneskeligt niveau – men det er bare ikke den verden de lever i, når der skal foretages hårde økonomiske prioriteringer – der hvor den godhjertede usability dør en brutal og på mange måder velbegrundet død, som en slap merudgift

Og lad mig slutte med at sige at det er skønt, at arbejde i et miljø hvor den grundlæggende forståelse af usability er indlejret i projektets grundpræmis. Nuvel, det er let at sige når jeg arbejder med e-handel. Der giver det lidt sig selv i en virksomhed som FDM travel.

Men jeg ville ikke tage fejl af at det faktisk lidt er en trends inden for web-usability, som med rette kunne sprede sig til andre dele af IT-verdenen. Jeg har allerede fået flere henvendelser fra organisationer, der gerne vil have møbleret lidt om på deres syn på udviklingsprocessen.

Denne gang har jeg en skarpladt skyder med i ærmet, hvor jeg før havde en sød bamse.