Från A/b-testning till prediktiv modellering

evidensbaserade metoder inom affärs- och samhällsprocesser



Team lead 
Insights team at Wrapp

@joakimlundborg
lundborg.io
github.com/cortex

Evidensbaserade metoder i affärsprocesser

Testning 
 vad funkar nu

Optimering 
förbättra det vi har

Prediktiv modellering 
förutse vad som kommer att hända

policy och affärsprocesser

likheter


  •  information är värdefull
  • mångdimensionellt problem
  • timing spelar roll
  • omvärlden förändras över tid
  • kontext och individuella aspekter
    spelar roll

    POLICY OCH AFFÄRSPROCESSER

    SKILLNADER

    skillnader
    • tydligt utfall (vinst)
    • inga krav på transparens
    • inga krav på rättssäkerhet/lika utfall

    a/b-testning

     olika utformning
     samma call to action
    jämför utfall

    Du är med i ett A/B test

    • Google
    • Facebook
    • Wrapp =)
    • ...

    lundborg.io/abtesting

    Optimering

    flerarmade banditer och epsilon greedy

    optimering

    flerarmade banditer och epsilon greedy


    Problem: 
    givet K enarmade banditer (stokastiska processer)
    välj vilka du ska spela på, för hur mycket, och med vilken frekvens
    maximera förväntad vinst

     Initialt vet vi väldigt l ite om varje slumpurval, men varje gång vi drar i spaken får vinner vi eller förlorar vi, samtidigt som vi lär oss mer om processen

    epsilon greedy


    1. välj en "bästa" spak för 1 - 𝜖 av fallen
    2. välj en annan spak i 𝜖 fall
    3. uppdatera uppskattat utfall

    varianter

    • epsilon first - explore, sedan exploit
    • epsilon-decreasing
    • börja med stort epsilon, minska över tid
    • adaptive-epsilon
    • contextual epsilon

    tillämpning i medicin

    Bandit-lösningar med etiska constraints

    Modellering: monte carlo

    Monte Carlo-metoder används mycket inom exempelvis fysik för att hantera mångdimensionella optimeringsproblem

    Princip:
    1. randomisera indata
    2. applicera en deterministisk regel
    3. aggregera utdata 

    monte carlo: pi

    monte carlo: simulera basinkomst

    http://www.chrisstucchio.com/blog/2013/basic_income_vs_basic_job.html

    MVP

    Lanserades som en del av lean-startup paradigmet
    Eric Ries 

    Syfte: lära sig så mycket som möjligt om hur intressant en produkt är utan utvecklingskostnaderna

    Exempel: landningssida med email
    falska funktioner
    dropbox 
    http://www.youtube.com/watch?v=7QmCUDHpNzE#t=43

    lärdomar

    misslyckas fort
    bra information är värd att betala för
    designa för förändring

    tillämpningar

    MVP-policy
    A/B-testa policy
    självoptimerande policies
    big data (scb, registersamkörning)
    prediktiv modellering med montecarlometoder (gör det offentligt & transparent)

    Evidensbaserade-affärsprocesser

    By cortex

    Evidensbaserade-affärsprocesser

    • 1,450
    Loading comments...

    More from cortex