I Dagsrevyen sist onsdag rapporterte NRK om en ny undersøkelse for barnehager og at det ikke stilles krav til sikkerhetskurs for barnehageansatte. «Private barnehager er mer opptatt av sikkerhet enn de offentlige», sa Viggo Johansen i innledningen til saken. NRK lagde også en nettsak med overskriften «Ingen krav til sikkerhetskunnskaper i barnehagene».
Jeg stusset over saken. «Den store barnehageundersøkelsen» det siktes til, gjennomføres av selskapet Kompetansetorget. Som journalisten i innslaget påpekte: «…Kompetansetorget, som selger sikkerhetskurs til barnehageansatte».
(Denne kritikken ble opprinnelig publisert på Erik Iversens blogg og er gjengitt med hans tillatelse. Der finner du en fullstendig versjon med noter.)
Gevinst
Kompetansetorgets daglige leder fikk på Dagsrevyen kritisere mangelen på offentlige sikkerhetskrav til barnehageansatte. Frykt skulle de ikke spre, «men det er jo viktig for foreldre å også være trygge på at de som overtar omsorgen for barn kan litt om sikkerhet og risiko når de tar vare på barnet ditt hele dagen».
Jeg mener ikke at det er uviktig at barnehageansatte kan noe om sikkerhet, men det er verdt å reflektere et øyeblikk over det faktum at synspunktet frembringes av et selskap som antakelig vil tjene på nettopp det de foreslår – flere sikkerhetskurs for ansatte i barnehagene.
Den store barnehageundersøkelsen er kommet i tre utgaver. Forrige utgave, 2011 års undersøkelse ble «slaktet» av førsteamanuensis Ellen Beate Sandseter ved Dronning Mauds Minne i Trondheim. Sandseter kritiserte både tallene og det læringssystemet Kompetansetorget solgte, «Sikkerhetsrommet», som også fikk god medieeksponering ved at det sto en roll-up bak den daglige lederen som ble intervjuet i Dagsrevyen.
Det er naturlig å tenke at dette er et klart forsøk på å skape blest rundt egen forretningsidé ved å lansere en spørreundersøkelse som skal bekrefte det man er ute etter. Et kjent markedsføringstriks.
Selvskryt
Jeg fant 2011 års rapport på nett, og etter en e-post til Kompetansetorget fikk jeg også en kopi av 2014 års rapport (som for øvrig kan leses her). I 2011- rapporten skrøt Kompetansetorget av at trenden i antall svar var stigende. Da svarte hele 27 prosent av de spurte på undersøkelsen. I årets rapport står det på første side:
Undersøkelsen gikk ut til nesten 6000 norske barnehageledere og vi fikk nær 900 besvarelser. Vi har derfor godt belegg for å si at DSB 2014 gir et dekkende bilde av situasjonen i norske barnehager, ikke minst når det gjelder sikkerhet – temaet vi er særlig opptatt av. (min utheving)
Nær 900 svar (tallet er akkurat 888, ifølge data på neste side) av 6.000 spurte, altså. Det er en svarsprosent på 15 prosent. Hele 85 prosent valgte å ikke svare. Dette er, med respekt å melde, ikke tall som gir et godt belegg for bastante konklusjoner.
Vi vet ikke hvorfor de 900 svarte, og ikke minst hvorfor over 5.000 spurte ikke svarte. Det kan finnes egeninteresser i å svare og å ikke svare, og det endelige utvalget kan derfor bli utilsiktet skjevt. Noen analyse av dette er ikke gjort. Metodisk er denne undersøkelsen veldig svak, og konklusjonene i den kan ikke gjøres generelle.
Søsterbedrift meningsmålte
Undersøkelsen er gjennomført av selskapet Lean Communications på oppdrag av Kompetansetorget. Lean Communications er, ifølge nettsidene deres, et selskap som «hjelper bedrifter i implementering av Lean-filosofien». Dette er tydeligvis en ledelsesfilosofi inspirert av japansk bilindustri.
De som har utført undersøkelsen er altså en kursbedrift, ikke et meningsmålingsbyrå. Det kan forklare hvorfor en veldig svak undersøkelse fremstilles som om den gir «et dekkende bilde av situasjonen i norske barnehager».
En annen forklarende opplysning er at Lean Communications eies til 60 prosent av selskapet Varde Kapital. Varde Kapital eier i sin tur 98 prosent av Kompetansetorget. Undersøkelsen er altså utført av et søsterselskap til oppdragsgiver.
NRK valgte Tromsø
I flere av spørsmålene er det skilt ut kategorien «DR+TR». Dette står for Drammen kommune og Tromsø kommune, som begge bruker Kompetansetorgets eget kurs. At de bruker dette kurset fremgår av pressemeldingen Kompetansetorget sendte ut etter at NRKs innslag ble sendt.
Sånn sett er det snedig at NRK brukte nettopp Tromsø kommune som foregangseksempel på en kommune med et godt sikkerhetsarbeid.
At begge kommunene kjøper «Sikkerhetskortet» fra Kompetansesenteret er antakelig også en årsak til at de gjennomgående beskrives som «Foregangskommunene Drammen og Tromsø» i undersøkelsen, og at det nærmest overalt gjøres et poeng av at barnehager med oppdragsgiverens eget kurs kommer bedre ut enn andre. Undersøkelsen har derimot ikke kontrollert for barnehager med andre konkurrerende tilbud, det skilles bare mellom brukere og ikke-brukere av sikkerhetskortet.
Tynt utvalg
I introduksjonen til innslaget i Dagsrevyen sa Viggo Johansen at private barnehager er mer opptatt av sikkerhet enn offentlige. Bakgrunnen for dette er en rekke spørsmål der private kommer bedre ut enn kommunale:
• På hvor mye penger som settes av til sikkerhetsopplæring (57 prosent av de kommunale svarer kr 0 pr. år mot 32 prosent for private)
• På om arbeidsgiver er opptatt av de ansattes sikkerhetsopplæring (62/42 prosent) og måler styrerne på dette (37/24 prosent).
Men for å gjenta: Ettersom det bare er rundt 400 kommunale og 450 private barnehager som har svart, kan en ikke trekke generelle slutninger. Vi vet ikke hva fem av seks barnehager bruker på opplæring i sikkerhet. Det sier vel en del.
Samme problem som avstedkom kritikk i 2012 går igjen også i år. «Hvor mange skader / uhell har det vært i din barnehage i år», lyder et spørsmål i undersøkelsen. Hvor alvorlig skadene er, derimot, det fremgår ikke.
Mikroskopisk forskjell
Antall skader blant de 15 prosent som har svart er 2,24 uhell pr. år. Så slår man fast at «Barnehager med Sikkerhetskortet har færre skader enn barnehager uten Sikkerhetskortet«. Dette fordi 70 prosent av barnehager med SK har to eller færre skader pr. år, mens tilsvarende tall er 66 prosent for dem uten SK.
Dette resultatet er innenfor feilmarginen, som for barnehager med SK oppgår til hele 10 prosent. Konklusjonen i Kompetansetorgets undersøkelse er altså helt grunnløs, og kan bygge på tilfeldigheter – selv om vi skulle gå ut fra at undersøkelsen er representantiv, noe den altså ikke er. Dobbelt feil.
Svakt av NRK
Nå er det grunn til å oppsummere. Dagsrevyen har altså videreformidlet konklusjoner som etablerte sannheter fra en rapport
– som har åpenbare og store metodiske svakheter
– som er utført av en bedrift som tilbyr kurs i ledelsesfilosofi, ikke et anerkjent meningsmålingsbyrå, og dessuten et søsterselskap til oppdragsgiver
– som helt tydelig brukes for å markedsføre forretningsideen til en konkret bedrift, og «bekrefter» behovet for det bedriften selger.
Dagsrevyen har i samme slengen gitt Kompetansetorget flere minutter i beste sendetid til å komme med følelsesladet argumentasjon og i praksis bedrive egenreklame for egne tjenester, i skjul av å sette søkelys på en viktig problemstilling.
Dette var egentlig ganske dårlig, NRK.
