Varför?

Kunden i Fokus

Leverera värde genom god förståelse för våra kunder

+ 1% per dag i 365 dagar = 3700%

Hypotes

Hur hittar vi dem?

Företagsvision

Sätter det ramverk som vi kan jobba inom.

Hela teamet!

Alla är med och hittar de hypoteser vi jobbar med.

Ger oss ett bra focus.

Hitta möjligheter?

Dokumentera hypotes

Hela teamet formulerar:

Utmaning

Potentiell lösning

Mätmetoder

Mätning

Svårt, men försök visa att er hypotes är fel!

Exempel

Filter navigering med kontextuella filter

aka

Tag navigation

Starten

Företagsvision:

"Relevant for me"

#1

WORKS!

Hur Skulle Det Fungera?

#2

Resultat

Intern användartest med produktionsdata

Väldigt uppskattat internt.

Detta gav oss möjligheten att fortsätta mot kund.

"Om Våra Användare Lättare Kan Välja Storlek mm. Hittar De Vad De Vill Ha Snabbare Och Det Bör Öka Konverteringen"

#3

17% Ökning Av Bud

I Skor

"Vi Borde Kunna Se Samma Förbättring På Mobila Skärmar!"

#4

FAIL! 

Ingen skillnad i konvertering!

"Bättre UI För Filter Kan Lösa Problemet"

#5

Nästan Ingen Använder Sig Av Tag Navigeringen

"Om Vi Föreslår Kategorivalet Än Tydligare Bör Vi Få Ett Bättre Resultat"

#6

3,3% Ökning Av Bud

I Skor På Mobil

Lärdomar

Vad vi lärt oss under resans gång!

Mäter vi rätt

• Vi startade med GA. Primärt aggregeringar för en session. Vi behövde korrelerade flöden! BYO
• En användare kan hamna i olika a/b-test grupper pga olika devices.
• Tradera har extrema användare som skevar resultaten. (Vi jobbar på det)

Egen mätning

GA:s brister ledde till egen insamlat data. Mycket jobb men har gett oss många insikter. Baserat på Elasticsearch men än så länge bara för Sök flödet. Neo4j eller Elastic Graph skulle förmodligen underlätta flödes analys.

Kunden i fokus

Vi har lärt oss massor om våra användare vilket gjort oss effektivare i vårt arbete. Enklare att ha ett hum om vilka lösningar som fungerar och vilka som kommer vara svårare att lyckas med.

Tid

Våra A/B-tester kräver minst två veckor för att bli stabila. Nyhetens behag. Initial större ökning för att sedan sjunka och stabilisera sig.

Teamwork Rules!

När vi jobbar tillsammans är vi bättre, snabbare och effektivare! 

Whole system

Vi har exempel på ändringar vi gjort som på ytan ser väldigt framgångsrika ut givet den KPI vi mätt. Men där vi sedan hittar andra KPI:er som visar på dåliga resultat.

Brainstorma ideer om hur en lösning kan påverka och kontrollera från flera håll. 

Baseline

Hitta ett par KPI:er som ger er en baseline som man alltid kan följa upp ett A/B-test mot. Sanity check 

Ge inte upp!

Ge inte upp bara för att mätning är svårt. Jobba mot bra mätning för de område ni håller på med.

Mätningarna är era "share with care". 

Motsägelser

Hur väger man kvantitativt bra resultat med kvalitativt dåliga resultat?