Från A/b-testning till prediktiv modellering
evidensbaserade metoder inom affärs- och samhällsprocesser
Team lead
Insights team at Wrapp
@joakimlundborg
lundborg.io
github.com/cortex
Evidensbaserade metoder i affärsprocesser
Testning
vad funkar nu
Optimering
förbättra det vi har
Prediktiv modellering
förutse vad som kommer att hända
policy och affärsprocesser
likheter
-
information är värdefull
-
mångdimensionellt problem
- timing spelar roll
- omvärlden förändras över tid
- kontext och individuella aspekter
spelar roll
POLICY OCH AFFÄRSPROCESSER
SKILLNADER
skillnader
-
tydligt utfall (vinst)
- inga krav på transparens
- inga krav på rättssäkerhet/lika utfall
a/b-testning
olika utformning
samma call to action
jämför utfall
Du är med i ett A/B test
- Wrapp =)
- ...
lundborg.io/abtesting
Optimering
flerarmade banditer och epsilon greedy
optimering
flerarmade banditer och epsilon greedy
Problem:
givet K enarmade banditer (stokastiska processer)
välj vilka du ska spela på, för hur mycket, och med vilken frekvens
maximera förväntad vinst
Initialt vet vi väldigt l ite om varje slumpurval, men varje gång vi drar i spaken får vinner vi eller förlorar vi, samtidigt som vi lär oss mer om processen
epsilon greedy
-
välj en "bästa" spak för 1 - 𝜖 av fallen
-
välj en annan spak i 𝜖 fall
-
uppdatera uppskattat utfall
varianter
-
epsilon first - explore, sedan exploit
-
epsilon-decreasing
-
börja med stort epsilon, minska över tid
-
adaptive-epsilon
-
contextual epsilon
tillämpning i medicin
Bandit-lösningar med etiska constraints
Modellering: monte carlo
Monte Carlo-metoder används mycket inom exempelvis fysik för att hantera mångdimensionella optimeringsproblem
Princip:
- randomisera indata
- applicera en deterministisk regel
- aggregera utdata
monte carlo: pi
monte carlo: simulera basinkomst
http://www.chrisstucchio.com/blog/2013/basic_income_vs_basic_job.html
MVP
Lanserades som en del av lean-startup paradigmet
Eric Ries
Syfte: lära sig så mycket som möjligt om hur intressant en produkt är utan utvecklingskostnaderna
Exempel: landningssida med email
falska funktioner
dropbox
http://www.youtube.com/watch?v=7QmCUDHpNzE#t=43
lärdomar
misslyckas fort
bra information är värd att betala för
designa för förändring
tillämpningar
MVP-policy
A/B-testa policy
självoptimerande policies
big data (scb, registersamkörning)
prediktiv modellering med montecarlometoder (gör det offentligt & transparent)
Evidensbaserade-affärsprocesser
By cortex
