NRK ruller ut verktøy for å måle kvaliteten på journalistikken

«Har vi snakket med dem det gjelder?»

Fyll inn «Antall kilder,» hvorav «antall kvinner» og «antall menn».

«Har saken bilder?»

«Har bildene god teknisk kvalitet?»

Slik lyder noen av spørsmålene som redaksjonelle ledere i NRK Rogaland besvarer når de kvalitativt evaluerer nettsaker fra journalistene ved distriktskontoret. Verktøyet de bruker har fått navnet Janus og er utviklet av NRK.

– Målet med prosjektet er å svare på hvordan vi kan si noe om kvaliteten på det vi leverer. Som hva slags kilder vi bruker, om vi svarer på det folk lurer på og om sakene våre holder det de lover, sier redaksjonssjef Helene Hillestad.

Rulles ut i høst

Rogalandskontoret var den første redaksjonen som tok Janus i bruk tidligere i år, og har derfor også vært med å utvikle prosjektet. Det vil si, brukerne forholder seg til Ark, som er et NRK-internt nettsted som samler og viser statistikker og innsikt om allmennkringkasterens nett-trafikk. Ark viser blant annet hvor mange som leser en sak nå, hvor de kommer fra og hvor lenge de leser en sak. 

Etter høstens valg er planen å oppsummere erfaringene fra Rogaland før Janus rulles ut som en del av Ark i alle NRKs redaksjoner.

– Vi kommer til å legge til én og én redaksjon for å sette dem godt inn i hvordan og hvorfor dette gir mening.

Hillestad understreker at hensikten med verktøyet ikke er å evaluere enkeltjournalister. Det er de samlede resultatene som skal være interessant i det store bildet. Slik kan hver redaksjon si noe om retningen for redaksjonene. Og på høyere nivå kan NRK si noe om all journalistikken som leveres.

– Janus aggregerer tall på redaksjonsnivå.

Og evalueringen er ikke ment som erstatning for utvikling av saker eller den journalistiske prosessen frem til og med publisering. Det er gårsdagens produksjon som skal evalueres. Og den skal ifølge Hillestad gjøres av de samme lederne som altså tidligere godkjente publisering.

– Det handler også om en ansvarliggjøring av lederne.

Testpilot

NRK Rogaland har blitt brukt som testpilot for systemet. Gjennom tilbakemeldinger derfra er blant annet spørsmål justert både for å gjøre evalueringen enkel og for å gjøre resultatene nyttige.

Distriktsredaktør Ragnar Christensen sier Janus fungerer slik at lederne hver morgen får en epost med lenker til gårsdagens saker. Så velger man hvilken man vil svare på.

Målet for Janus er at minst én av de rundt ti daglig publiserte sakene blir evaluert, og at det ikke skal ta mer enn ti minutter.

– Det er ikke et mål å evaluere alle saker. Den største utfordringen nå er å sikre gode rutiner for å gjøre evalueringen, sier Christensen.

– Hvordan skal dere gjøre det?

– Det jobber vi med. Men vi ser et behov for tydeliggjøring. Vi vurderer å legge det inn i arbeidsinstruksen til vaktsjefer og redaksjonslederne.

Han er også åpen for at journalister kan evaluere hverandre, noe som ifølge Hillestad er mulig gjennom verktøyet som et tillegg til det lederen gjør.

Funksjoner

Redaktøren har også fortsatt ønsker til nye funksjoner på lista. Han ønsker for eksempel mulighet til å trekke ut resultatene av for eksempel siste måned, og tilpasninger som hindrer det i å bli en tidstyv.

– Tanken er å ha det enkelt og greit.

– Hvordan er det med eventuelle feilkilder? Er det slik at det overrapporteres om gode saker, og at de dårligere underrapporteres?

– Vi ønsker at et representantivt utvalg av artikler skal komme med, og ikke at man velger de gode artiklene eller de flinkeste journalistene, sier Christensen.

Han ser for eksempel for seg at epostene som sendes ut med lenke til svarskjemaet kan trekke ut en tilfeldig artikkel for evaluering.

Redaksjonssjef Hillestad har ikke sett antydninger til skjevrapportering på sakene. 

– De ønsker at resultatene skal være reelle, hvis ikke er de ikke til nytte for dem, sier hun.

Tidlig skepsis

Blant journalistene beskriver klubbleder Mari Rollag Evensen mottagelsen på et tidlig tidspunkt som skeptisk. Men den skepsisen mener hun har lagt seg.

– Bekymringen var at evalueringen kunne hektes på person ved at man kunne trykke på navnet til en journalist, og på en måte se karakteren til personen. Men det er ikke mulig, sier Evensen på telefon fra ferie i Italia.

Hun sier at vaktsjefene har gjennomgått opplæring, at journalistene er informert i flere omganger, og at klubben har hatt møte om Janus.

Evensen er ikke i tvil om at dataene i Janus kan brukes til å bygge kompetanseprofiler på journalister, men sier det ikke har vært noe tema. Men som styremedlem også i NRKJ utelukker hun ikke at det kan bli tema der. Selv er hun ikke så bekymret.

– Jeg lever godt med det. Vi er et lite miljø fra før, og kjenner våre styrker og svakheter, sier Evensen, som også har vikariert som vaktsjef.

Selv karakteriserer hun seg som undrende, søkende, positiv og skeptisk på en gang til verktøyet. Og hun er åpen for at journalister også kan evaluere hverandre.

Open source?

På Marienlyst er det utvikler Cristobal Dabed som har utviklet Janus og innsiktsansvarlig Øystein Riiser Gundersen som har det overordnede ansvaret for Ark - i nært samarbeid med Helene Hillestad. NRK er åpne for å dele Ark og Janus som open-source-kode, men understreker at det ikke er snakk om «hyllevare» som andre kan ta i bruk uten spesialtilpasning.

– Det vil ha begrenset nytteverdi nå å slippe det som Open Source. Men mange av tingene er allment, sier Gundersen, som vil ha tanken i bakhodet når han utvikler verktøyet videre.

– Jeg blir stolt hvis dette kan gjøre norsk journalistikk bedre, føyer kollega Hillestad senere til.

Mindre kake?

Redaksjonssjef Helene Hillestad forteller at Janus var ganske raskt å implementere så fort forprosjektene var ferdig. Det som har tatt tid er å forankre prosjektet og å finne ut hva man faktisk ønsker å måle og hvordan.

– Lederne ønsket å si noe mer om innholdet enn å sende kake til redaksjonen som fikk flest klikk. De ønsket å si noe om kvaliteten, sier Hillestad.

– Så nå blir det mindre kake i NRK?

– Nei. Men saker som ukens korrespondentbrev vil alltid ha problemer med å bli den saken med flest sidevisninger i Norge målt i klikk alene. Med bredere målinger kan vi si noe om hvor god en sak er ut fra våre kvaliteter og sakens potensial.

Redaksjonssjefen viser til NRKs fem hovedpilar om å være vesentlig, skape engasjement, ha godt språk, ha tempo og kvalitet i form av for eksempel teknisk kvalitet på bilder eller om saker er godt utbygd. 

– Vi så det var et behov for å bli evaluert ovenfra samtidig som arbeidsmiljøundersøkelser viser at journalistene ønsker å bli evaluert. 

Ulike mål

Hillestad blir engasjert når hun forteller at bare én evaluert sak om dagen kan bli rundt 300 i året. Og med flere redaksjoner akkumulert kan NRK begynne å trekke konklusjoner om journalistikken i mediehuset.

– Det er et NRK-anliggende å si at så så mange saker har arkivfoto, eller for eksempel ha jobbet med fordeling av kjønn og alder på kildene. Forskjellige redaksjoner vil også ha forskjellige mål.

NRK vil også være åpne om tallene, slik at de for eksempel kan bli brukt i den årlige rapporten som sendes til Medietilsynet.

Og til slutt, hvorfor fikk tjenesten navnet Janus? Forklaringen er dels at navnet må kunne brukes på flere språk, og dels at verktøyet ser både fremover og bakover i tid.

Les mer om NRK.