Sigurd Allern er kritisk til Medieundersøkelsen: – Oppsiktsvekkende høyt frafall av respondenter

Torsdag ble Medieundersøkelsen 2019 presentert under Nordiske Mediedager, hvor holdninger blant norske og svenske journalister ble sammenlignet.

Men flere har vært kritiske til at undersøkelsen har en lav svarprosent, spesielt at så få svenske journalister har svart.

– Den lave svarprosenten er problematisk. Det har blitt oppgitt at frafallet av de som har fått spørreundersøkelsene er på 90 prosent i Norge og 95 prosent i Sverige, sier journalistikkprofessor Sigurd Allern fra Universitetet i Oslo.

– Det synes jeg er oppsiktsvekkende høyt. Jeg ville normalt sagt at slike undersøkelser ikke burde blitt publisert, fortsetter han.

Derfor er har skeptisk til konklusjonene som ble presentert torsdag.

– Jeg sier ikke at det er feil. Jeg oppfatter bare at det blir veldig usikre tall, og jeg ville vært veldig varsom med å konkludere på forskjeller mellom norske og svenske journalister, basert på slike tall.

Ønsker en diskusjon velkommen

Det er Erik Knudsen, som står bak analysene og konklusjonene av Medieundersøkelsen 2019.

– Jeg skal være den første til å innrømme at vi gjerne skulle hatt flere respondenter, sier han til Journalisten.

Knudsen jobber som postdoktor ved Universitetet i Bergen, hvor han spesialiserer seg på kvantiativ medie- og publikumsforskning. Han ønsker gjerne velkommen en diskusjon om metode.

– Denne kritikken er ikke ny og den rammer store deler av survey-forskningen. Før hadde man kanskje en svarprosent på 70. Folk var pliktoppfyllende. I dag er vi ganske glade for 20 prosent, sier han.

Den norske undersøkelsen har en svarprosent på cirka 10 prosent. I Sverige er den rundt 7 prosent. Knudsen er åpen på at det kan gi skjevheter, men viser til flere årsaker til at det er lavere sannsynlighet for at det er store avvik i de resultatene han presenterte.

– Resultatet kan på bli påvirket av at få svarer, men vi tar høyde for den statistiske usikkerheten i analysene våre. Vi tester for statistisk signifikans, altså sannsynligheten for at forskjellen mellom de ulike utvalgene er tilfeldige, og den er tilnærmet null, sier Knudsen.

Analysene tar også høyde for at aldersforskjeller, kjønnsforskjeller og utdanningsforskjeller kan påvirke resultatet.

– Det største problemet med få observasjoner er at du har lite handlingsrom. Hvis respondentene svarer veldig forskjellig, så får du lite handlingsrom til å sammenligne de forskjellige gruppene. Men i vårt utvalg blant svenske journalister, så svarer de ganske homogent. Vi kan sammenligne, mener Knudsen.

NJ kritisk til gjennomføringen

Norsk Journalistlag, som har bidratt med e-postadresser til medlemmer, har også uttrykt bekymring for den lave svarprosenten. Derfor er de også skeptiske til resultatene og analysene.

– Når jeg så at det var 545 norske journalister som svarte, og jeg vet at de fikk e-postadressene til over 5800, så ble jeg veldig bekymret over svarprosenten, sier rådgiver Trond Idås.

Han og NJ reagerer også på at kun litt over 200 svenske journalister svarte.

– Det synes vi er problematisk, sier Idås, og fortsetter:

– For Norsk Journalistlags side synes vi det er viktig med disse undersøkelsene og at det er bra at de gjøres hvert år. Men desto viktigere er det at svarprosenten er såpass høy at vi opplever den representativ for hva medlemmene våre mener.

Norsk Journalistlag vil ta en runde med Nordiske Mediedager og de andre aktørene som står bak undersøkelsen, og diskutere måten den blir gjennomført på.

– Jeg mener det er problematisk at svarprosenten ikke sto i rapporten. Og jeg synes ikke man kan basere analyser og forskjeller på så spinkelt grunnlag, sier Idås.

Vil gjerne endre undersøkelsen

Thore Gaard Olaussen fra Respons Analyse, som har utarbeidet selve rapporten, er kritisk til kritikken.

– Vi har brukt samme fremgangsmåte i alle år, uten at det har kommet et pip fra Norsk Journalistlag. For det andre oppfatter vi det som representativt hvis det ikke har vært systematisk frafall. For det tredje, så er det synd at man går løs på metodikken fordi man ikke liker resultatene, sier han.

Men både han og Knudsen er positive til å diskutere hvordan man kan løse arbeidet videre.

– Jeg kan hjertens enig innrømme at svarprosenten har gått ned, spesielt på webintervju. Det har tatt helt av. Alle sender webintervju i hytt og pine, sier Olaussen.

– Jeg er veldig skeptisk til å bruke det i fortsettelsen og det er noe vi burde diskutere i etterkant. Men vi har brukt det fordi det har vært så lettvint og billig, fortsetter han .

Knudsen har tidligere vært i kontakt med Norsk Journalistlag med forslag om enda en metode som kan gi informasjon om hvor representativt utvalget er. Hvis han får tilgang til informasjon om alder, kjønn og utdanning hos hele medlemsmassen i Norsk Journalistlag, så vil det gjøre det mulig å vite noe om hvem som svarer og hvem som ikke svarer, og hvor representativ utvalget er.

– Det må nemlig være systematiske forskjeller mellom de som valgte å svare, og de som ikke svarte, før analysene som ble presentert skulle vist et annet bilde, sier Knudsen.