Ada är en statistisk modell som räknar ut sannolikheten för olika valresultat. Så här går det till.

Hur fungerar Ada?

Ada bygger på en bayesiansk modell som väger ihop olika informationskällor för att göra prediktioner av valresultatet. Modellen bygger dels på data från tidigare val (tillbaka till 1970-talet), dels på opinionsundersökningar. Ju närmare valet vi kommer, desto större vikt får opinionsundersökningarna. Genom att analysera historisk opinionsdata har hon lärt sig hur väljare rör sig. Hon vet att partier som ligger nära riksdagsspärren månaderna innan valet har en tendens att spurta och att uppgång för borgerliga partier som Centern och Kristdemokraterna ofta beror på att moderater taktikröstar.

Adas prediktioner förändras varje gång hon matas med ny kunskap, det vill säga nya opinionsmätningar. I takt med att vi närmar oss valdagen kommer hon att bli säkrare på slutresultatet.

Ada är programmerad i R. Källkoden kommer att publiceras på Github, där du också hittar en längre teknisk beskrivning av hur Ada fungerar.

Vad är det Ada räknar ut?

Ada räknar ut hur stort väljarstöd varje parti har vid olika tidpunkter, både framåt och bakåt i tiden. Det beräknade stödet uttrycks som ett så kallat osäkerhetsband, ett intervall som med 95 procents säkerhet fångar in det verkliga stödet. Så här såg den kurvan ut för Socialdemokraterna i början av juni 2014. S Linjen anger det mest troliga väljarstödet för Socialdemokraterna dag för dag (även om det paradoxalt nog är rätt osannolikt att stödet skulle ligga exakt här). Det färgade området visar osäkerheten. Med 95 procents sannolikhet ligger partiets stöd inom det här området.  Osäkerheten om väljarstödet växer när vi går in i framtiden. S i juni + polls Här är samma graf men med alla opinionsundersökningar inprickade. Vi ser att osäkerheten ökar ju längre bort från den senaste mätningen vi kommer. De opinionsundersökningar som ligger utanför sannolikhetsbandet missar, enligt Ada, målet på grund av urvalsfel.

Den mätning som Ada ger absolut störst vikt är SCB:s majmätning. SCB gör ett mycket bredare urval än de andra opinionsinstituten och har ett erkänt starkt historiskt facit. Det här är också förklaringen till att osäkerhetsbandet smalnar av när vi närmar oss valdagen.

Det starka samband vi genom åren kunnat se mellan SCB:s mätning och valresultatet ger oss en tydlig förväntan om var partierna sannolikt kommer att landa. Däremot vet vi inte nödvändigtvis exakt hur vägen dit ser ut.

Kan man lita på Ada?

Det är svårt att göra prognoser – framför allt om framtiden. Vi har utvärderat Ada genom att låta henne förutsäga valen 2006 och 2010. I de här valen lyckas hon pricka in samtliga åtta partier och de båda blocken tre och en halv månad innan valet. Pricka in betyder i det här fallet att det slutgiltiga valresultatet landade inom det sannolikhetsband hon satt upp.

Ada fångar in åtta av åtta partier 2010

Adas prognos i början av juni 2010 (lodrät linje) versus partiernas slutliga valresultat i september (x). Alla rätt 2010

…liksom 2006

Adas prognos i början av juni 2006 (lodrät linje) versus partiernas slutliga valresultat i september (x). ...och 2006.

Alla rätt alltså, men med darr på ribban i flera av fallen. I valet 2010 presterade till exempel alliansen ett resultat som Ada bara med knapp marginal trodde att var möjligt. Alla fyra allianspartierna (C, FP, KD och M) ligger i överkant på sina osäkerhetsband, vilket är ett tecken på att de gjorde starka valkampanjer. Miljöpartiet däremot gjorde ett betydligt sämre val än förväntat månaderna innan valet.

Av de här två graferna kan vi också dra slutsatsen att alliansens seger 2006 var mera otippad månaderna innan valet än densamma 2010.

Ada är ett experiment. Men vi vågar ändå sticka ut hakan påstå att hon redan nu gör bättre prognoser än alla otaliga magkänslodrivna politiska kommentatorer. Vi tror också att hon är en värdig utmanare till etablerade opinionsinstituten. Mer om detta nedan.

Varför är Ada bättre än traditionella opinionsundersökningar?

Opinionsundersökningar har två problem. Det första problemet är att de mäter hur folk skulle rösta om det vore val i dag. Det här är inte nödvändigtvis samma sak som hur de kommer att rösta på valdagen. Vi vet att det finns taktikröstning och att mindre partier brukar öka under valrörelsen på de större partiernas bekostnad. För att skapa en bra prognos behöver faktorer som dessa tas i beaktande.

Det andra problemet med opinionsundersökningar är att de på grund av små urval tenderar överskatta väljarnas rörlighet på kort sikt. Vi får en mera realistisk bild om vi väger ihop flera undersökningarna.

Det här görs redan i ett antal olika poll-of-polls-mätningar. Det som skiljer Ada från de flesta av de etablerade sammanvägda mätningarna är att hon viktar opinionsinstituten olika baserat på deras trovärdighet. Ada definierar trovärdighet som hur mycket instituten skiljer sig från SCB. Företag som gång på gång ligger långt från de andra ges lägre trovärdighet i modellen och viktas ned.

Ada utgår också från opinionsundersökningarnas insamlingsperiod och inte deras publiceringsdatum.

En annan skillnad är att Ada inte bara räknar ut punktskattningar för partierna (”just nu tror vi att S ligger på 30,7 procent”), utan också hur stor osäkerheten är (”med 90 procents sannolikhet ligger S mellan 28,1 och 32,2 procent”). Det här gör det möjligt för oss att räkna ut sannolikheter för olika utfall (”hur stor är sannolikheten att SD blir vågmästare”).

Men det som gör Ada verkligt unik är att hon är den första modellen i Sverige som inte bara bedömer hur stort stöd partierna har i dag, utan också ger sig på att säga någonting om framtiden. Hon ger dem en prognos för valdagen. Det här gör ingen annan.

Vem ligger bakom Ada?

Ada är att hobbyprojekt drivet av Måns Magnusson och Jens Finnäs. Måns, som till vardags är doktorand i statistik och något osunt intresserad av prediktiv modellering, är hjärnan bakom modellen. Jens, som är journalist och driver Journalism++, har byggt sajten och all grafik. Sitt vackra yttre har Ada fått av Sofia Rådström.

Vill du kontakta oss? Gör det helst per mejl (jens.finnas@gmail.com och mons.magnusson@gmail.com).

Adas kusiner

År 2012 vände Nate Silver upp och ner på den amerikanska valbevakningen med sin träffsäkra prediktionsmodell, som prickade rätt på 50 av 50 delstater. Silvers modell byggde, precis som Adas, på en bayesiansk modell.

I det tysta fanns det flera andra modeller som gjorde liknande prognoser. Adas modell påminner om den som Votamatic använde, men den är anpassad för att passa det svenska flerpartisystemet. Andra modeller som Ada har inspirerats av är den här modellen och modellbaserade poll of polls.

I USA finns det en snabbt växande flora valprediktionsmodeller. I presentation har Ada framför allt låtit sig inspireras av New York Times.

I Sverige har utvecklingen inte kommit lika långt, men saker har börjat röra på sig. I bloggen Tre Fyra Nio gör Daniel Walther ett försök att prognostisera valresultatet enligt en modell som påminner om Adas. Dagens Samhälle har även en enklare bayesiansk analys för att väga ihop opinionsmätningar.

Flera av de amerikanska modellerna väger in ekonomiska faktorer som BNP och arbetslöshet. Det gör inte Ada, vilket är ett medvetet val. Hennes analyser har visat att sambandet mellan ekonomi och valresultat är förhållandevis svagt i Sverige.

37 Responses to “Så här fungerar Ada”

  1. MATS EDMAN

    Nej, ni är inte ensamma eller först.

    Dagens Samhälle har använt Bayes för valprognoser varje månad sedan 10 månader tillbaka. Vi gör prognoser på blocknivå. Inspiratör: Nate Silver.

    Men välkomna i vår lilla klubb!

    Svara
    • Jens Finnäs

      Den hade vi missat. Har lagt till er och utmärkta ”349” till listan över kusiner. Får vi en länk på Dagens Samhälle också? ;)

      Svara
  2. A

    Hur kommer det sig att Ada mätte för SD inför valet 2010, och inte tex. PP i något av valen?

    Ok, så det är nog en efterkonstruktion, men det känns lite knepigt ändå…

    Svara
    • Jens Finnäs

      Körningarna för 2006 och 2010 är ”efterhandskonstruktioner”. Vi har alltså simulerat hur Ada skulle ha gjort prognoserna med dåvarande kunskap. Vi exkluderar PP av samma orsak som vi exkluderar FI: för lite data.

      Svara
  3. Ludwig Björn

    Hej,

    Jag tycker att marginalerna ni får fram verkar breda. Just nu förutspår Ada att S ska få mellan 28,8 och 38,6% av rösterna i nästa val. Kommer marginalerna att minska när valet närmar sig? Jag kollade också på era prediktioner för de två tidigare valen och även där verkar de vara generöst tilltagna. Trots det hamnar många av partierna i ytterkanten. Jag får intrycket av att ni sätter upp väldigt breda målstolpar för er själva.

    Att Ada spår bättre än politiska kommentatorer tvivlar jag sedan inte en sekund på, men då lägger man ju inte ribban så högt :)

    Svara
    • Måns Magnusson

      Hej!

      Ledsen för långsamt svar i sommartider. =)

      Det är olika bredd på olika partier. Det kommer bli smalare med tiden beroende på hur mycket partierna rört sig tidigare. För de partier som rör sig mycket över tid kommer prediktionerna bygga mer på tidigare val och då förändrar inte opinionsundersökningarna särskilt mycket förrän veckorna innan valet, medan för andra partier som rört sig mindre är osäkerheten mindre och prediktionsintervallen blir smalare.

      Problemet är att vi både har en osäkerhet var partierna befinner sig just nu (p.g.a opinionsundersökningarnas osäkerhet) och hur mycket opinionen kan svänga fram till valdagen. Båda dessa bitar gör osäkerheten ganska stor för de största partierna.

      /Måns

      Svara
    • Måns Magnusson

      Hej igen.

      Glömde att nämna att varför prediktionerna var så breda i exemplen från 2006 och 2010 beror på att det var prediktioner som gjordes i början av juni, då är osäkerheten av förklarliga skäl stor.

      Svara
  4. Lucas Erixon

    Hej! Tack för en mycket bra webbplats. Vad som dock gör mig lite fundersam kring vilka siffror ni verkligen går efter är att ni på första sidan längst ned idag (25 aug 2014) står det: ”Senaste mätningen: Sifo (23.8.2014).”
    Om man däremot tittar på vilka mätningar ni lagt in så har ni senast idag lagt in United Minds från 25 aug. Min fråga är alltså:
    Baseras mätningen på vilka värden som verkligen ligger inne på Github eller krävs det någon ytterligare manuell uppdatering av er för att det ska slå igenom i tabellen.

    Jag har tömt cache och cookies och startat om webläsaren så det är ingen gammal info som ligger och cachar hos mig.

    Svara
    • Jens Finnäs

      Observant!
      Vi har uppdaterat modellen, men har inte hunnit uppdatera sajten ännu. Fixar inom några timmar!

      Svara
  5. Eric

    Hej,

    Hur kommer det sig att FI inte ingår i modellen och hur påverkas tillförlitligheten i beräkningarna att ett sannolikt riksdagsparti inte explicit inkluderats?

    Svara
    • Jens Finnäs

      FI har hittills lämnats utanför modellen eftersom vi haft lite opinionsdata att gå på för dem. Men det blir snart ändring på det. Väldigt snart. Stay tuned!

      Svara
  6. Svante

    Hej,

    När ni skriver om vågmästarroll, vem som blir störst, m.m. räknar ni då med procent av rösterna eller antal mandat?

    Svara
      • Hans Rahmqvist

        Ska vågmästardelen av det hela bli relevant måste väl mandat fördelas utifrån ADAs gissning. Men det kanske är svårt att få till? Eller bara hårdkoda svaret ”Ja”, men det kanske inte är tillräckligt vetenskapligt ;-)

        Svara
        • Anders S Lindbäck

          I riksdagsvalet finns utjämningsmandat. Så varje mandat är 0.3% av befolkningen med 3-4 partier så betyder det att felet kan – om alla partier inom en sida förfördelas bli max 1% skillnad. Dvs 3 mandat. Chansen att alla partier i ena sidan har tur och alla på andra har otur är rätt liten.

          Skälet till att man inte räknar på mandatfördelningen är att det finns inga opinionsundersökningar per valkrets så man vet ej hur de fördelas på valkretsarna.

          Svara
        • Måns Magnusson

          Hej!

          Det är precis så vi gör. Vi får en gissning på ett valresultat från Ada (eller 2000 för att vara exakt). Sedan tittar vi på varje valresultat och tar bort de partier som har mindre än 4 % och ser om SD skulle bli vågmästare. Då får vi en viss procent av alla utfall där SD har en vågmästarroll.

          Är detta tydligt förklarat?

          /Måns

          Svara
  7. David

    Noterar att SD med nöd och näppe hamnade inom intervallet i simuleringen för 2010. Det är ju ett känt faktum att många väljare ”skäms” för att uppge sympatier med dem, och att de därför ofta underskattas i undersökningar – är detta något ni och/eller instituten kompenserar för?

    Nej, jag är ingen SD:are ute efter att snacka upp siffror, är bara nyfiken :) tack för en bra tjänst!

    Svara
    • Måns Magnusson

      Hej!

      Du har rätt och detta syns ganska bra om du tittar under partiprediktioner. Det är en av de anledningar till varför vi plockar in även webbpaneler som United Minds och Yougov. I dessa finns detta problem i mindre grad, men de är behäftade med andra problem (som icke-slumpmässiga urval). Det gör SD ganska svårpredicerade.

      Tittar vi på föregående val så hamnade SD ändå som ett genomsnitt av samtliga undersökningars senaste resultat.
      Här finns hur de sista undersökningarna såg ut 2010:
      http://bottenada.se/blogg/

      Svara
      • David

        Hej, och tack så mycket för svaret!

        Dock är jag nog fortfarande kritisk till opinionsinstitutens träffsäkerhet vad gäller sd. Vad jag kan se verkar anledningen till att ett snitt av de sista undersökningarna 2010 gav en bra förutsägelse vara att United Minds publicerade väldigt mycket under bara någon vecka. De var också i princip de enda som sköt över. Ett rakt snitt av alla instituts sista siffror för sd ger nära en procentenhet för lågt resultat.

        Tittar vi dessutom på Europaparlamentsvalet i år är det svårt att säga något annat än att träffsäkerheten för sd var katastrof (se http://sv.wikipedia.org/wiki/Europaparlamentsvalet_i_Sverige_2014). Man frågar sig hur det kan vara möjligt t ex att som Novus förutspå 6,3% en dag före det riktiga valresultatet på 9,7%. Överlag var träffsäkerheten väldigt dålig.

        Men hur som helst, jag tolkar det som att Ada inte har någon inbyggd kompensation för detta? Iofs borde det väl snarast vara opinionsinstituten som skulle kompensera isf, om några…

        Svara
        • Måns Magnusson

          Hej!

          Jag förstår dina argument och det ska bli mycket spännande att se just detta i valet. Jag känner mig ganska bekväm med Ada, men just SD bör kanske modelleras separat och öka osäkerheten för var de ligger då de är mer svårsmätta än övriga partier.

          Men med storleken på partierna ökar dock osäkerheten kring dem så att missa som Sifo den 22:a i EP är inte illa (tror att det ligger inom Sifos konfidensintervall). Dock var Novus uppenbart fel ute. Men det är skillnad på riksdagsval och EP-val och webbpanelerna ligger något högre.

          Det är helt enkelt spännade att se, men jag litar nog på Ada i detta (har dessutom bettat på att SD kommer under 11.5%) av just denna anledning. I put my money where my mouths at. =)

          /Måns

          Svara
          • David

            Tack återigen för svar, och lycka till med spelet! Tror personligen det kan bli på håret :)

  8. Jonas Westin

    Hej!

    Tack för ett bra verktyg!

    Jag har en fundering om hur resultaten bör förstås. Om man i gränssnittet beräknar sannolikheten för att FI+MP+S+V blir större än övriga (M+FP+KD+SD) blir sannolikheten (just nu) 58%. Om man istället frågar om sannolikheten att FI+MP+S+V blir större än 50% blir sannolikheten 82%.

    Vad beror denna skillnad på och vilket av resultaten ger en mest ”sann” bild av det verkliga utfallet?

    Svara
    • Jens Finnäs

      Bra observation!
      Det hjälpte oss nosa upp en liten bugg. Tidigare räknade vi på förväntad andel av alla röster om man valde en procentjämförelse och på förvänta andel av rösterna bland de invalda om man valde en partijämförelse. Nu är detta harmoniserat utgår från andel av totalen.

      Svara
  9. Gösta Körlof

    Hej Måns,
    Jag såg ADAs progosticering. Det verkas vara det bästa verktyget som även tar hänsyn till osäkerheter. Jag saknar diskussion om osäkerheten framför allt när journalister uttalar sig om opinionen.
    Det finns fyra faktorer som jag tror kan påverka utfallet och jag vill få dina kommentar.
    1) Bortfallen i undersökningarna som görs. Redan kommentera.
    2) Antalet personer som är osäker ofta 18-20% av tillfrågade. 2010 var röstandelen av ca 85%. Dvs tillkommer 4-5% av de osäkra. Vilket parti/block tenderar de att rösta på?
    3) Socialdemokraterna har traditionellt lägre andel av sympatisörer som faktiskt går och röstar. De borgerliga parierna har ofta högre andel av sympatisörena som går och röstar. Dvs vad skiljer det mellan att faktiskt rösta och svara i telefon på en opinionsundersökning.
    4) SD uttrycker sig vara stigmatiserade. Om vi antar att det stämmer borde färre av SDs sympatisörer ”våga” redovisa detta i en opinionundersökning via telefon. I viss mån redan diskuterat.

    I resultatet från 2010 så visade modellen ett för lågt värde för de borgerliga på ca 5% och ett för högt värde för de rödgröna med ca 2%. Dvs en total blockskillnad i utfallet på ca 7% mot ADA modellen. För 2006 var det samma förhållande men totala skillnaden var då ca 5%.
    Jag noterar att eftersom ADA baseras på opinonsundersökningar så ser det ut som det finns systematiska fel hos opinonundersökningarna.

    MVH

    Gösta Körlof

    Svara
    • Måns Magnusson

      Hej Gösta!

      1) Jo, detta är en av grundproblemen med opinionsjournalistik och undersökningsföretag idag. Dessutom är det något som undersökningsföretagen inte heller publicerar (vilket gör mig misstänksam). När mina studenter gör studier har de ofta ett bortfall på runt 80% och de är ofta mycket duktiga.

      Eftersom bortfallen är så stora innebär det att även de slumpmässiga urvalen MÅSTE bortfallskalibreras för att få vettiga skattningar. Det gör att det snarare är skillnad i hur väl undersökningsföretagen kalibrerar (och om de gör det på ett bra sätt) än huruvida det är webb eller telefon (eller till och med om det är ett slumpmässigt urval).
      Två undersökningar som båda kalibrerar på samma sätt är då självklart den som bygger på slumpmässighet att föredra.

      2) Jag är inte statsvetare och har inte superbra koll på detta. Här kan jag istället rekommendera följande utmärkta inlägg:
      http://www.henrikoscarsson.com/2014/09/partiernas-spurtvinster-och.html
      http://www.svt.se/nyheter/val2014/statsvetaren-valjarna-ar-allt-rorligare

      3) Detta kan jag inte svara på heller faktiskt. Men som du nämner är det vissa partier som har extra svårt att mobilisera. Här är en bra artikel (iofs) från 2010.
      http://www.fokus.se/2010/09/jakten-pa-soffliggarna/

      4) Du har rätt i att jag tror att det finns en stark ”social desirability bias” när det gäller SD-sympatier via telefon. Detta väg dock upp av webbpanelerna (vilket är en av anledningarna varför Ada inkluderar även webbpaneler).

      5) Denna bias du ser vet jag inte om det är en bias. Dessa exempel är från juni 2010 så det handlar snarare om att de borgerliga gjorde bra spurter både 2006 och 2010. Vi håller på att jobba på att få ut en utvärdering av hur bra Ada var i slutet 2006 och 2010. Ex. trodde hon på valdagen 2006 att det var 57% chans att det skulle bli en alliansseger. 2010 trodde hon på en alliansseger med 95% men vågmästarrollen för SD tillskrev hon, som nu, cirka 50% (vilket just också blev klart först efter att alla röster räknats). Vi ska försöka få ut denna utvärdering sås snart som möjligt.

      Tack för synpunkterna och frågorna!

      /Måns

      Svara
  10. Richard

    Hej!
    Vet ni om det finns någon tjänst som visar skillnaden mellan olika opinionsinstitut över tid? Så man t ex skulle kunna se ifall Sifo oftare ger högre siffror till borgerliga partier och liknande. Annars kanske det är något som ni skulle kunna ta fram utifrån den data ni redan har?

    Svara
    • Jens Finnäs

      Inte som vi känner till, men det är någonting som vi själva har tittat på och som vi hoppas kunna publicera någonting om vad det lider.

      Svara
  11. David

    Är en opinionsundersökning medräknad så snart den finns i källfilen (CSV-filen)? Vore bra att veta, eftersom det ibland är skillnad på vad som är medtaget där och vad som står här på sajten som ”senaste mätningen” (och inget konstigt med det – snarast är jag mkt imponerad över hur snabbt CSV:en uppdateras).

    Svara
    • Jens Finnäs

      Det är sidfoten som gäller. Den visar den senast inlagda pollen. Om csv-filen på Github är uppdaterad, men inte sajten så betyder det troligen att vi håller på att köra modellen. Att göra en körning med ny data tar 1,5-3 timmar.

      Svara
      • David

        Jag förstår, tack för info! Av nyfikenhet, vem är det som uppdaterar CSV:en? Är det ni också?

        Svara
  12. Joacim Jonsson

    Hej!

    Enligt val.se har 1,3 miljoner förtidsröstat hittills (9 sept), vilket är 20% av antalet röster (förra valet). Har ni tagit hänsyn till det i modellen? Tex har ju skillnaden mellan blocken minskat närmare valdagen, och har då varit större för förtidsröstarna.

    Svara
  13. David

    Hej! Kommer ni att köra igen nu till nyvalet? Kom ihåg att ni i slutändan bara har opinionsundersökningarna att jobba med – har de systematiska fel kommer det även att smitta er. Det är oundvikligt. Vi får hålla tummarna att de är bättre ute den här gången.

    Vore spännande att ge Botten Ada ett nytt försök! :)

    Svara

Trackbacks/Pingbacks

  1.  Ny prognostjänst: Mycket nära rödgrön majoritet | Fokus
  2.  Åter en förändring av modellen
  3.  Roboten Ada förutspår rödgrön valseger | Robotnyheter

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>