I morgentimene 20. august sendte NTB ut en nyhetsmelding fra TT i Stockholm: Sverigedemokraterna (SD) ble målt til største parti i Sverige for første gang. Det internasjonale målingsbyrået YouGov målte det omstridte svenske partiet til 25,2 prosents oppslutning, en sensasjonell nyhet.
Den første meldingen fra NTB (kl. 01.30) nevner noen kjappe fakta og at “målingen er gjort på nettet”.
Noen timer senere (kl. 03.13) oppdaterer NTB saken og skriver: “Sverigedemokraterna pleier å få høyere tall i YouGovs målinger enn i andre målinger”.
En gjennomgang av svenske målinger tatt i 2015, basert på oppføringen til NOVUS, viser at dette stemmer generelt. Sannheten er noe mer nyansert enn NTB fremstiller det.
I de sammenlignbare periodene YouGov-målinger er blitt tatt i Sverige, har de målt SD til mindre enn 3 prosentpoeng mer enn andre målingene, som er innenfor feilmarginen slike målinger pleier å ha.
NTB prøver å gi et eksempel på at YouGov pleier å måle SD høyere enn andre:
“I Svensk väljaropinion, som samler de fem største målingsinstituttene i Sverige, fikk partiet 16,4 prosent i juni, men 22,1 prosent hos YouGov.”
Bare et problem: YouGov hadde ikke SD på 22,1 % i juni – det hadde nemlig norske Sentio.
YouGov målte SD til 20,1 % i juni, altså lavere enn det norske byrået. NTBs ene eksempel motbeviser altså inntrykket de prøver å bygge opp: at YouGov favoriserer SD på en feilaktig måte.
Det ønskede inntrykket blir mer eksplisitt i NTBs avslutning: “YouGovs målinger gjøres via et selvrekrutterende nettpanel på 1.527 personer, en metode som mange kritiserer.”
Hvem disse “mange” som kritiserer metoden er, sies ikke.
“Omstridt” metodikk?
NTB har aldri tidligere problematisert metodene til YouGov, som de for første gang i saken om SD beskriver som et “selvrekrutterende nettpanel”. (VG er de eneste som har brukt denne ordlyden om YouGov tidligere i Norge, og da uten å problematisere metoden.)
Et Retriever-søk på flere varianter av ord assosiert med kritikk viser ingen tidligere omtale fra norske medier der metodene til YouGov kritiseres.
NTB og norsk presse har altså plutselig blitt kritisk til YouGovs metoder etter å ha henvist til dem over 15.000 ganger siden byrået ble stiftet i 2000.
I 2012 var situasjonen helt motsatt.
“Velgerne flykter fra svenske høyrepopulister” er overskriften på en nyhetsmelding fra NTB/TT 9. januar 2012. De henviser til en meningsmåling fra YouGov, for avisen Metro, akkurat som tilfellet for deres nye rekord i august 2015.
Her nevnes ikke metodene til YouGov i det hele tatt. NTB nevner YouGov i sammenheng med SD i alt 12 ganger før august 2015 – og metodene deres er aldri et tema.
Metodene til YouGov har blitt forsket på og kommer positivt ut i rapporten “Getting It Right: YouGov and Online Survey Research in Britain” (2008).
Målingsguruen Nate Silver har også påpekt at YouGov oppnår rimelig bra resultater, og slo bl.a. Gallup i presisjon ved presidentvalget i 2012. Oppsummeringen etter presidentvalget viste også at nettpanelene var i snitt mer nøyaktig enn de andre metodene.
I FiveThirtyEights “Pollster Ratings”, får YouGov en gjennomsnittlig vurdering – et hakk over Gallup.
YouGov, det sorte fåret?
I den tredje versjonen av nyhetsmeldingen (kl. 09.31), har NTB funnet ytterligere bevis mot YouGov.
“Normalt publiseres ikke målingene til YouGov av store mediehus som svensk radio og fjernsyn (SVT og SR) og Expressen, nettopp på grunn av undersøkelsesmetoden.”
Her er det veldig vanskelig å ikke anklage NTB for løgn.
NTB hadde altså ingen problemer med å omtale YouGovs målinger tidligere, uten å være kritisk til metodene.
Angående svensk presses motvilje til å omtale YouGovs målinger: Expressen har en avtale med byrået Demoskop; SVT har en avtale med SIFO; SR har en avtale med NOVUS; YouGov har en avtale med gratisavisen Metro.
Det er en ren selvfølge at kildene NTB nevner ikke publiserer andre målinger enn fra det byrået de selv har en avtale med. NTB kan ikke være uvitende om dette; dette er helt vanlig praksis i pressen.
Dessuten har slettes ikke disse kildene problemer med å omtale YouGovs målinger. Et kjapt søk på Expressen.se gir 105 omtaler av YouGov; hos SVT.se er det “mer enn 100 resultat”; hos SverigesRadio.se er det 181.
NTB har selv omtalt YouGov over 300 ganger – uten kritikk.
Konkurrenten vet best?
I denne tredje versjonen av nyhetsmeldingen, henter NTB inn sitat fra en av YouGovs konkurrenter, SIFO.
– En måling skal ikke baseres på at du selv melder deg, eller at du melder på en kompis, kommenterer SIFOs adm.dir. mens hun samtidig sprer mer tvil om YouGovs metoder.
Kommunikasjonssjefen til YouGov uttaler seg i saken men blir tilsynelatende ikke bedt om å kommentere påstanden om at de lar deg “melde på en kompis”. Det fremkommer ikke noe bevis på at YouGov-deltakere kan melde på andre til panelet.
Reaksjonen på dette i sosiale medier tyder på at man misforstår dette som at man kan drive kampanjevirksomhet for å skaffe venner til å stemme på en gitt måling. Slik fungerer ikke YouGovs målinger; man kan ikke velge selv hvilke målinger man vil svare på. Deltakerne blir også nøye utvalgt ut fra demografiske kriterier for å tilse et representativt utvalg.
Av en eller annen grunn anser ikke NTB den samme metoden som problematisk hos en annen konkurrent av de tradisjonelle byråene: Inizio.
Aftonbladets målinger, nå utført av Inizio (tidligere United Minds), blir nemlig også gjort via et selvrekruttert nettpanel. Nettpanelet går under navnet “Sverige tycker” og er et samarbeid med norske Schibsted Media Group – som er aksjonær i NTB gjennom en rekke aviser.
Det var ifjor at Schibsted og Aftonbladet satset på dette nye nettpanelet. Denne nysatsningen ble kritisert av konkurrenten Novus, som sådde tvil om nettpanelmetoden. Det var også Novus som i 2013 anmeldte YouGov til Etiska Rådet för Marknadsundersökningar (ERM); YouGov ble frikjent på begge punkt.
Her er det åpenbart hard konkurranse innenfor bransjen, der de mer etablerte målingsbyråene prøver å holde nye aktører ute av markedet ved å så tvil om deres metoder. NTB tar altså aktiv side i denne kampen, mot satsningen til en av sine hovedaksjonærer.
Men uavhengig av krangelen mellom målingsbyråene om metoder – hvem er det som måler SD best, de tradisjonelle byråene eller YouGov?
Riksdagsvalget 2014
NTB fremhever at YouGov pleier å ha høyere tall for Sverigedemokraterna enn andre byråer – og i 2015 har de stort sett rett i dette. Insinuasjonen er at de dermed tar feil, at det er flertallet av de andre byråene som man skal heller stole på.
Den eneste måten å vite hvorvidt YouGov er mindre presis enn de andre er å sammenligne byråenes prognoser for valget i september 2014. I et forsvarsinnlegg viser YouGov til målingsresultatene som ble tatt rett før valget.
Av syv målingsbyråer er det tre som bruker nettpaneler (United Minds, Sentio, YouGov) – samtlige traff bedre enn de tradisjonelle byråene på oppslutningen til SD. Alle syv byråer undervurderte SDs oppslutning, med 0,2–3,5 prosentpoeng.
YouGov bommet med 1,8 prosentpoeng for lite; de tradisjonelle byråene undervurderte SD med 2,6–3,5 prosentpoeng. Det er altså faktisk en mulighet for at YouGov fremdeles undervurderer styrken til SD.
Akkurat som da er det de nettbaserte målingene som viser best tall for SD. YouGov for Metro, Inizio for Aftonbladet, og Sentio for status.st har alle vist SD over 20 prosentpoeng i august.
Norske Sentio målte SD til 23,4 % i en måling publisert litt etter YouGov, til nest største parti.
NTB har ennå ikke nevnt Sentios måling.
Ukritisk norsk presse
Resten av norsk presse har stort sett vært ukritisk til NTBs nyhetsmeldinger og kjøpt deres mange påstander uten å sjekke dem. Påstandene jeg har gått gjennom allerede er stort sett publisert videre overalt i norsk presse.
Her følger et utvalg av noen avisers vinklinger og omtale basert på NTBs meldinger:
NRK.no: “Med en oppslutning på 25,2 prosent er det innvandringskritiske partiet nå det største i Sverige, men det er knyttet stor usikkerhet til den nye målingen. […] Lettere suspekt måling”.
Aftenposten.no: “Omstridt meningsmåling”. VG.no: “Omstridt måling”.
Stavanger Aftenblad, på lederplass: “Målingen, fra instituttet Yougov, er riktignok omstridt rent metodisk.”
Bergens Tidende: “Markedsundersøkelser fra instituttet YouGov har tidligere fått kritikk for å være useriøse. Hos YouGov må nemlig respondenter selv melde seg til panelet.”
VG.no: “Men målingen, som ble gjort av Yougov på oppdrag av Metro, skilte seg fra ordinære meningsmålinger: Den ble gjort via et selvrekruttert nettpanel på 1.527 personer, en metode mange kritiserer.”
Her bør NTB ta ansvar og svare for hvordan de kunne dekke saken på denne måten, og dementere feilopplysningene de har kommet med. Troverdigheten til NTB som byrå står på spill når de er såpass lemfeldig med sin holdning til meningsmålinger, alt etter som hva de viser eller hvem de er gunstige for.
NTB ble stilt syv spørsmål via e-post samme dag som deres sak ble publisert i sammenheng med denne saken; de har ikke svart.
