Jeg hadde egentlig håpet å ikke skrive noe mer enn det jeg allerede har skrevet om Hege Storhaug og VGs Årets Navn-kåring, men når Gunnar Stavrum valgte å eksplisitt etterlyse at «[det] ville vært lærerikt å høre hva de som normalt er faglig kritiske til nettavstemninger mener om metodebruken her«, så måtte jeg jo nesten følge opp utfordringen.»
Stavrums blogginnlegg tar utgangspunkt i at «Islamkritikeren Hege Storhaug ble ikke årets navn [i VG], selv om hun vant nettavstemningen klart», og etterlyser mer åpenhet fra VG omkring detaljene i prosessen. Særlig trekkes det frem at når TNS Gallup gjennomførte den avgjørende finalerunden blant et landsrepresentativt utvalg, så ble kandidatene angivelig presentert på en ubalansert måte som gikk i Storhaugs disfavør.
Doremus’ kritikk av Stavrum er først publisert på bloggen hans
For å starte der vi er relativt enige: Stavrum (og Kjetil Rolness) har rett i at det er en uheldig skjevhet i hvordan respondentene fikk presentert de ulike kandidatene. Storhaug beskrives med «Wikipedia-stemme» som «Informasjonsleder i stiftelsen Human Rights Service og innvandringsdebattant», mens flere av de andre kandidatene får tildelt mer blomstrende hyllester: Petter Northug tok «fire spektakulære gull i ski-VM», Mats Zuccarello Aasen «herjer på isen med stor suksess», og Robin Schaefer «oppklarte en mors verste mareritt».
Som Frank Aarebrot påpeker når han (som er enig i at beskrivelsene er skjeve) intervjues av Nettavisen om saken, ville det vært krevende å skulle gi noen mer spesifikk beskrivelse av en så omstridt person som Storhaug uten å pådra seg enda mer kritikk fra den ene eller den andre fløyen. Slik sett er det naturlig at de endte med å løse dette ved å gi en helt knusktørr og nøytral beskrivelse. Problemet er ikke Storhaugs presentasjon, men at man gjorde en helt unødig slurvete og lemfeldig jobb med å luke bort overflødige superlativer og sørge for at også de andre beskrivelsene ble liggende i samme ‘toneleie’.
Så blir det et spørsmål om hvor mye dette egentlig påvirket utfallet av målingen. Det er vel dokumentert at spørsmålsformuleringen kan ha betydelig påvirkning på hva folk svarer, men samtidig er det naturlig å tenke at dette først og fremst gjør seg gjeldende der hvor folk ikke har et klart standpunkt fra før, men må finne ut hva de mener på sparket. Som Magnus Hoem Iversen påpeker, er det trolig at det store flertallet av spurte stemte på et navn som de kjente fra før. For en så polariserende person som Storhaug, vil svært mange av hennes tilhengere stemme på henne helt uavhengig av ordlyden i beskrivelsen – mens de som er sterke motstandere ikke vil stemme på henne uansett.
Så vil det selvsagt være en del respondenter som er mer usikre og påvirkelige, eller som ikke kjenner navnet men ville valgt henne dersom hennes islam-kritiske ståsted kom tydeligere frem. Men det er også plausibelt at hun kan ha vunnet stemmer fra folk som tenkte «‘Human Rights Service’, det høres snilt ut, jeg stemmer på henne» men som ville valgt annerledes dersom de hadde visst mer om hennes ståsted.
Så oppsummert: Det er absolutt grunn til å kritisere VG og/eller TNS Gallup for slett håndverk i utformingen av spørsmålet, men det er langt fra gitt at dette faktisk var utslagsgivende. Når VG opplyser at Storhaug ikke engang endte endte på øvre halvdel av de 10 finalistene, tyder det på at marginene var såpass store at formuleringen ikke var avgjørende.
Slik sett er det fair av Stavrum å oppfordre VG til å offentliggjøre detaljerte resultater, bakgrunnstall og metodebeskrivelse. (Personlig har jeg forsøkt i flere uker å få VG til å oppgi hvor mange de skulle spørre i målingen fortsatt uten å få noe svar.) Mediene burde generelt være langt flinkere til å gi denne typen innsyn i diverse meningsmålingsresultater som de slenger rundt seg med, og i dette konkrete tilfellet kunne det fortelle oss f.eks. om tapet var med hårfin margin eller om Schaefer vant klart.
Når kartet mistenkeliggjøres for å ikke stemme med terrenget
Men det blir langt mer underlig når Stavrum ønsker seg denne bakgrunnsinformasjonen ikke bare for å studere innbyrdes forskjeller, men uttrykkelig sier at formålet er «slik at man kan se forskjellen på nettavstemningen og TNS Gallup».
Ingen steder i Stavrums tekst fremgår det hva man skal få ut av en slik sammenligning mellom en måling blant et representativt og vektet utvalg av befolkningen, kontra en selvselektert nettmåling med mulighet for å omgå sperrene mot at samme person stemmer flere ganger.
Forrige gang Stavrum og jeg diskuterte nettavstemninger, var han (etterhvert) nøye med åunderstreke at han selvsagt var klar over «at nettavstemninger ikke har utsagnskraft for hva den norske befolkningen mener» og at «de faglige innvendingene [herunder at utvalget som stemmer ofte vil være skjevfordelt, at de sterkeste engasjerte (eller den siden som er flinkest til å mobilusere) vil være overrepresentert, og at man kan jukse med at samme person stemmer mange ganger] er velkjente».
Men ingenting av dette nevnes med ett ord i hans siste blogginnlegg (som altså i sin helhet handler om metodekritikk og -skepsis, men da kun rettet mot TNS-målingen). Tvert imot skriver Stavrum (mine uth.) at
Hege Storhaug ble ikke årets navn, likevel. Det er ikke så rart.
I dag kåret VG årets navn. Det ble ikke Hege Storhaug, til tross for at hun vant avisens nettavstemning med klar margin.
(..)
Islamkritikeren Hege Storhaug ble ikke årets navn, selv om hun vant nettavstemningen klart.
som om det gir grunn til forundring og skepsis at TNS’ målingen ga et markant annerledes resultat enn nettavstemningen.
I den påfølgende nyhetsartikkelen blir leseren presentert for argumenter for hvorfor dette avviket «ikke er rart» – men da kun fra VGs Torry Pedersen, som forsvarer VGs fremgangsmåte som ‘part’ i saken. Stavrums gamle foreleser Frank Aarebrot er intervjuet som uavhengig ekspert, men journalisten har tilsynelatende kun spurt ham om ordlyden i spørsmålet og ikke om hvorvidt det er gyldig å bruke nettavstemninger som en målestokk på hva slags resultater man kan forvente ved en seriøs måling.
Gitt Aarebrots tidligere uttalelserom nettavstemningers grunnleggende upålitelighet og useriøsitet, er det liten tvil om at han ville gitt klar beskjed om at selv om TNS-målingen har klare metodiske svakheter, så er det meningsløst å bruke spriket fra nettavstemningen som argument for å trekke målingen i tvil.
I min nevnte tidligere diskusjonen med Stavrum, om en nettavstemning over hvorvidt det burde avholdes folkeavstemning om Syria-forliket, endte Nettavisen med å gjennomføre enordentlig meningsmåling om spørsmålet. Denne målingen viste at 60 prosent var mot en folkeavstemning mens 35% var for – et radikalt annerledes resultat enn nettavstemningen, som lå helt oppe på 75% støtte for folkeavstemning den gangen Stavrum brukte disse tallene som grunnlag for sitt opprinnelige innlegg om saken. (for så etterhvert å moderere seg ned til «bare» 55% for).
Nettavisens forkjærlighet for å hekte nettavstemninger på sine artikler gir oss også et utall andre eksempler på at slike resultater ofte er åpenbart i utakt med folkemeningen. Artikkelenom Storhaugs såkalte «ledelse i avstemningen om Årets navn» var ledsaget av en nettavstemning der svimlende 87% (av 32.000 stemmer) mente at hun fortjente å bli kåret til Årets Navn. Selv hennes mest svorne tilhengere vil formodentlig innse at dette neppe reflekterer folkemeningen.
Tidligere i høst svarte 80% av 25.000 stemmer at de ønsket seg en regjering med Frp (mot 8% som ønsket borgerlig regjering uten Frp og fattige 12% som ønsket rødgrønn regjering) – et resultat som vel taler for seg selv mht. å vise at det er betydelige skjevheter i partifordelingen blant Nettavisens lesere. Og det er vel også rimelig å anta at det i virkeligheten ikke er over 50% av nordmenn som anser det som «mulig» at WHOs advarsel mot kreftfare ved kjøttspising skyldes at de er «infiltrert av muslimer».
Det finnes med andre ord rikelig med både teoretisk og empirisk dokumentasjon på at slike nettavstemninger er bortimot verdiløse som indikator på hva folk faktisk mener – både pga. av skjevhet og selvselektering i utvalget, og pga. muligheten til å manipulere avstemningen ved å stemme flere ganger.
I en situasjon der det hagler med beskyldninger (av mildt sagt varierende kaliber) mot VGs fremgangsmåte, er det nokså besynderlig at Stavrum velger å presentere en isolert sett legitim kritikk uten å drive det minste snev av folkeopplysning, f.eks. om at en måling på et representativt utvalg i utgangspunktet har langt større troverdighet enn et skjevt utvalg – uansett om det skjeve utvalget er mange ganger større.
Splinten i TNS’ beskrivelse, men ikke bjelken i nettavstemningen
Og det blir også temmelig påfallende når Stavrum advarer om at Storhaug kan ha kommet dårligere ut i TNS-målingen pga. en ‘for lite positiv’ presentasjon – samtidig som Storhaugs førsteplass i nettmålingen presenterer som et rent faktum, uten den ringeste drøfting av hvorvidt hun der kan da dratt fordel av
1) å ligge helt øverst på listen det aller meste av tiden, og
2) å der bli presentert med følgende (leserskrevne) begrunnelse: «Fordi hun kjemper for Norge og for de undertrykte. Hun tør stå opp mot det som truer vårt demokrati, noe ingen andre i dette landet tør gjøre.»
De andre kandidatene (inklusive VGs egne nominasjoner) har også beskrivelser som er positivt ladede, men gjennomgående adskillig mer lavmælte og avdempede enn hyllesten til Storhaug. Og nett-beskrivelsen av Robin Schaefer («Da varsleren i Monika-saken i Bergen ikke ble hørt av ledelsen Hordaland politidistrikt, tok ha kontakt med morens bistandsadvokat. Det kan ha vært avgjørende for at saken ble gjenåpnet.» – min uth.) er så forsiktig og forbeholden at den grenser til det villedende.
Det vitner ikke akkurat om om en prinsipiell tilnærming til saken når man øser seg opp over en overdreven nøytralitet i TNS’ Storhaug-presentasjon, men fremsetter det som et faktum at «hun vant avisens nettavstemning med klar margin» uten å ta det ringeste forbehold om atdette kan ha blitt hjulpet frem av en overstrømmende panegyrisk presentasjon.
Tilsvarende er det heller ikke helt overbevisende når Stavrums insistering på hvor viktig det er med balanserte og nøytrale svaralternativer, avsluttes med å spørre leserne «Hva mener du? Ble Hege Storhaug fratatt seieren, eller er VG i sin fulle rett til å kåre hvem de vil?» (Tilsvarende dikotomi stilles også opp lenger oppe i teksten, når Stavrum skal referere fra debatten på sosiale medier.)
Som Erik Iversen påpeker: Spørsmålsstillingen kunne med fordel også ha inkludert alternativet: «TNS-målingen gir et korrekt bilde av at flere nordmenn vil premiere Robin Schaefer enn Hege Storhaug», istedenfor for å legge som premiss at Storhaug på en eller annen måte ble skubbet til side.
Påstått utydelighet
Det er også forbausende når Stavrum skriver at
Det fremgår ikke av dagens kåring om vinneren faktisk fikk flest stemmer på TNS Gallups undersøkelse, eller om VG har gjort valget selv.
Om Stavrum skulle mene at formuleringene i selve VG-artikkelen etterlater rom for formalistiske smutthull, så er det vanskelig å se at ikke VGs gjentatte svar i kommentarfeltet gjør saken helt entydig: «10 kandidater [ble] forelagt et landsrepresentativ utvalg. Der vant Robin Schaefer.»
(Det er heller ingen indikasjon i artikkelen på at Stavrum har gjort noen henvendelse til VG for å få oppklart sin forvirring og usikkerhet på dette punktet.)
Jeg vet heller ikke riktig hvorfor Stavrum konkluderer med at «Uansett har det blitt en uoversiktlig kåring i minst fire stadier». Som nevnt gjentatte ganger, har VG brukt den samme metoden i år som en rekke tidligere år:
Først en nettavstemning (med både lesernominerte kandidater og VGs egne forslag) som avgjør hvilke 10 personer som går til finalerunden, før disse 10 konkurrerer i en seriøs meningsmåling blant et landsrepresentativt utvalg. Dette fremstår for meg verken som spesielt innfløkt eller som noen fire-trinns-prosess.
VG kunne med fordel tatt mer ansvar for å korrigere de mange mediene som likevel misforsto systemet, men til og med Nettavisens egen artikkel fra slutten av november siterer VGs Øyvind Solstad på at vinneren skal kåres i en meningsmåling med de 10 øverste på nettavstemningslisten. Da burde Stavrum også klare å forklare at dette har vært annonsert og innarbeidet prosedyre hele veien – især når det florerer med totalt oppkonstruerte beskyldninger om at dette er noe VG hadde trukket opp av hatten for å spenne bein på Storhaugs seiersmarsj.
Når skepsisen bare går én vei
Jeg har lenge klaget over at resultater fra «undersøkelser» aksepteres ukritisk i offentligheten, uten noen form for gjennomgang av hvilke metoder som ligger til grunn for resultatet. Sånn sett er det bare positivt at Stavrum oppfordrer VG til å være (mer) åpne om detaljene i sin måling slik at metodikken kan vurderes og debatteres.
Det som derimot ikke gir så mye mening, er når Stavrum vinkler en slik kritisk gjennomgang ut fra at TNS-målingen viste et annet resultat enn nettavstemningen. Å kreve innsyn i TNS’ utvalgssammensetning, metodebruk, m.m. for å kunne akseptere deres resultater er én ting – men det blir absurd å samtidig ukritisk godta resultatene av en nettavstemning der verken vi eller VG vet det skapte grann om sammensetningen av utvalget, eller engang hvor mange personer som reellt står bak de avgitte stemmene.
Det blir omtrent like irrasjonelt som når man avviser «tradisjonelle» legemidler fordi man mistenker at kontroll- og godkjenningsrutinene er omgått eller manipulert – og istedet velger «alternative» legemidler som har minst like suspekte ingredienser og som ikke har vært gjennom noen vitenskapelig kontroll.
Hele Stavrums artikkel er vinklet mot at «Hege Storhaug ble ikke årets navn» (hvem som faktisk vant kåringen er faktisk ikke nevnt ett eneste sted i teksten) – noe som tilsynelatende fremstilles som i strid med folks forventninger. Men å forvente seier til Storhaug, ene og alene basert på hennes ledelse i nettavstemningen, blir nesten like forfeilet som om man skulle slått opp at Northug tapte konkurransen «til tross for» at Saturn sto med ascendanten i Tyrens femte hus.
Eller, for å ta en litt mer presis analogi: Som om jeg skulle trukket siste partibarometer i tvil, bare fordi Frps oppslutning langt overgår det antallet personer i min omgangskrets som kunne tenke seg å støtte Frp. På samme måte som jeg åpenbart ikke kan legge til grunn at min omgangskrets forteller meg noe helst om folkemeningen som helhet, er det også meningsløst å tillegge skjeve og manipulerbare nettavstemninger noen slik informasjonsverdi.
At Storhaug har en betydelig støtte, er det allerede mange andre holdepunkter for, men det er ingenting som tilsier at den nødvendigvis er stor nok til å gå av med seieren i en slik kåring. Og mens det er helt legitimt å påpeke metodiske svakheter fra VG side, så er det svært vanskelig å se hvordan en opphetet debatt skal bli bedre av at man nører opp under fundamentalt misforståtte forestillinger om at Storhaug hadde et ‘favorittstempel’ og at hennes tap er en påfallende hendelse som krever en eller annen ytre forklaring.
