Den siste uken har det vært adskillig oppmerksomhet om bruken av nettavstemninger som utgangspunkt for lengre kommentarartikler. Det startet da HRS’ Hege Storhaug bombastisk konkluderte med at målet om 10.000 Syria-flyktninger ville føre til at “Minst 8 000 IS-sympatisører hentes til Norge”, og slo fast at “Al-Jazeera avdekker at 81 prosent av araberne støtter Den islamske staten”
Men det som ikke ble nevnt med ett ord i hennes originalartikkel, var at dette tallet på 81 prosent IS-støtte ikke stammer fra noen troverdig meningsmåling som Al-Jazeera har gjennomført, men fra en nettavstemning der alle som ville kunne gå inn og stemme for/mot IS.
Kommentarartikkelen er opprinnelig publisert i en lengre versjon på forfatterens blogg.
Det er statistisk barnelærdom at en måling som er gjort innenfor et skjevt utvalg (nesten uansett hvor stort utvalget er) risikerer å gi totalt feilaktige og ikke-representative resultater. Og når undersøkelsen finner sted på ett bestemt nettsted, risikerer man ikke bare vilkårlige skjevheter i utvalget, men også systemiske skjevheter fordi visse grupper er overrepresentert blant nettstedets lesere.
En selvselektert undersøkelse, der det er fullstendig opp til den enkelte om de vil svare på undersøkelsen eller ikke, gir enda større risiko for skjevhet (bl.a. fordi de som har et særlig sterkt engasjement om temaet trolig vil være kraftig overrepresentert).
Når undersøkelsen er åpent tilgjengelig på nettet, og dreier seg om et særlig kontroversielt tema, er sjansen enda større for skjeve resultater fordi ulike grupper aktivt mobiliserer sine meningsfeller til å gå og stemme.
Og når det på toppen av det igjen kun er snakk om en enkel nettavstemning uten noen innlogging, der hver person kan stemme så mange ganger som de har tid og engasjement til, så blir feilkildene så mange at resultatene nærmer seg det totalt verdiløse.
Til alt overmål fins det også troverdige (og enkelt tilgjengelige) undersøkelser om støtten til IS i araberverdenen. Disse viser en meget begrenset grad av støtte - rett nok bekymringsfull i seg selv, men milevidt fra de absurde tallene som HRS la frem.
Etter kraftig kritikk fra flere hold fulgte Storhaug opp med en beklagelse for “vinklingen” i gårsdagens artikkel: “Undersøkelsen viste at 81 prosent av al-Jazeeras respondenter (hvor som helst i verden) uttrykker støtte til Den islamske staten. Selvsagt betyr ikke det at 81 prosent av syrere støtter IS. Der skulle jeg vært tydelig, og jeg beklager at jeg ikke var nettopp det.”
Avstemning om folkeavstemning
Men etter at Frp på torsdag la frem sitt krav om at avtalen skulle legges ut til folkeavstemning, var bådeNettavisen, TV2, og Dagens Næringsliv kjapt ute med å legge ut sine egne nettavstemninger om hvorvidt det bør avholdes slik folkeavstemning (eller, i DNs tilfelle, hvordan du ville stemt i en slik avstemning).
I DNs avstemning synes det ikke å være noen sperre overhodet mot at samme person kan stemme et ubegrenset ganger. Nettavisen opplyser at de har lagt inn en viss sperre mot dette, men at den kan omgås (etter alt å dømme relativt enkelt). Og i motsetning til TV 2/DN som hadde sin avstemning som et påheng til en nyhetsartikkel om Frps utspill, så valgte Nettavisen å slå dette opp som en egen artikkel med direkte oppfordring (og profilering både på egen forside og på sosiale medier) om at alle skulle gå inn og avgi sin stemme.
Samtidig (og tilsynelatende som et forsøk på å avverge kritikken mot dem) presiserte Nettavisen at man egentlig ikke burde legge så stor vekt på resultatene deres: ”Avstemningen i denne saken er uhøytidelig, og er ment for å ta tempen på leserne våre. Det er en svakhet i avstemningen, noe flere har gjort oss oppmerksomme på, men vi håper folk ikke vil misbruke denne svakheten.”
Ikke så uhøytidelig likevel?
Men til tross for disse temmelig kraftige betenkelighetene, valgte Nettavisens sjefredaktør Gunnar Stavrum å legge tallene uforbeholdent til grunn for sin kommentarartikkel om folkeavstemnings-spørsmålet:
“Snart vil 100.000 ha stemt for folkeavstemning om Syria-flyktninger hos Nettavisen. De fleste av dem ønsker ikke flere flyktninger.
Tre av fire som har stemt på nettet ønsker en folkeavstemning, og det sammenfaller med resultatet fra andre målinger.”
Her forekommer det ikke et snev av forbehold, verken om de generelle manglene ved slike avstemninger eller om de konkrete svakhetene som Nettavisen selv påpeker at gjør avstemningen sårbar for mulig manipulering. Tvert imot underbygger Stavrum resultatene med henvisning til at de “sammenfaller med resultatet fra andre målinger” (uten å presisere hvilke målinger dette dreier seg om).
Stavrum opplyser i etterkant at det er snakk om to “sammenfallende” målinger: De nevnte nettavstemningene hos DN og TV 2.
Det burde være nokså åpenbart at hvis du gjennomfører en måling med en fullstendig sviktende metodikk, så blir ikke resultatene dine troverdige bare fordi de “sammenfaller” med andre målinger som er utført med nøyaktig samme metodikk (og trolig et betydelig overlapp også i hvem som besvarte undersøkelsen).
Samtidig har vi (som Nettavisen formodentlig kjenner til) et par noenlunde pålitelige meningsmålinger fra mai, som viser en (tildels knapp) overvekt av folk som sier ja til å ta imot 10.000 flyktninger. Norstats måling for NRK i starten av mai ga 51% ja mot 38% nei, mens InFacts meningsmåling for Dagbladet et par uker senere viste 47% ja mot 44% nei.
Det fremstår som svært lite sannsynlig at det skulle blitt en radikal forskyvning i favør av Nei-siden i løpet av de siste ukene - ikke minst når begge disse målingene ba folk ta stilling til 10.000 syrere over 2 år, mens den endelige avtalen opererer med et betydelig redusert på 8.000 over 3 år.
Uansett hva folk måtte mene om folkeavstemning (noe Nettavisens avstemning forteller oss fint lite om), er det altså ingen troverdige holdepunkter på at det skulle være noe stort flertall som går mot forliket om 8.000 syrere.
Snik-nettavstemningisering
Det er fullt mulig å argumentere prinsipielt for at Norge bør innføre økt bruk av nasjonale folkeavstemninger, f.eks. etter sveitsisk modell. Men det vitner ikke om spesielt stor tiltro til egne argumenter om saken når man - istedenfor å la argumentene stå på egne ben - velger å understøtte dem med resonnementer og “statistikk” som mangler troverdighet og bevisverdi.
Personlig synes jeg (og flere med meg) at det er uheldig av seriøse medier engang å invitere til nettavstemninger i denne typen spørsmål, når de vet hvor stor sjanse det er for at resultatene kan manipuleres og deretter presenteres i andre fora som “En undersøkelse gjennomført av ___”. Dersom man faktisk ønsker å finne ut av folkemeningen i en bestemt sak, burde man ta seg råd til å gjennomføre en skikkelig meningsmåling, og ikke en såkalt “uhøytidelig” (les: ubrukelig) nettavstemning.
I slike tilfeller kan dog mediene i det minste dekke seg bak fikenbladet om at de har gjort det klart at avstemningen er “uoffisiell” eller “uhøytidelig”, og at den bare er ment som et trivielt påheng til en nyhetsartikkel. Når en ansvarlig sjefredaktør baserer en hel kommentarartikkel på en slik måling (uten noe snev av forbehold om metodikkens og resultatenes manglende gyldighet), da tillegges resultatene en helt annen (og ufortjent) tyngde og validering. Og det ville være mildt sagt uheldig dersom vi ender opp med et offentlig debatt der ulike typer statistikk slenges ut uten noe skille mellom faglig holdbare meningsmålinger og useriøse nettavstemninger.
Les også Gunnar Stavrums tilsvar til Doremus, og Doremus’ kommentar til tilsvaret.
