Nytt verktøy gjenkjenner språk og militære kjøretøy: – Å verifisere manuelt krever mye tid

I samarbeid med Faktisk.no har Sohail Ahmed Khan utviklet to prototyper på digitale verktøy som verifiserer audiovisuelt innhold. Det har han gjort som doktorgradsstipendiat på MediaFutures forsknings- og innovasjonssenter ved Universitetet i Bergen.

Den ene prototypen gjør det mulig å gjenkjenne militære kjøretøy som for eksempel dukker opp i videoer fra en krigssone.

Den andre er en språkdetektor. Ved å laste opp en lyd- eller videofil gjenkjenner prototypen språket i filen og oversetter det til engelsk.

– Om man skal verifisere dette innholdet manuelt krever det mye tid og trening. Målet er å hjelpe journalister med å utføre verifiseringsarbeid mer effektivt, sier Khan til Journalisten.

Begge prototypene er åpent tilgjengelig her.

Basert på kunstig intelligens

Den pågående krigen i Ukraina har ført til økt behov for nye typer automatiserte verifiseringsverktøy.

I fjor høst tilbrakte Khan drøye to måneder hos Faktisk.no i Oslo, hvor han jobbet side om side med journalistene som verifiserer krigsbilder fra Ukraina.

Khan har en bachelorgrad i informatikk fra hjemlandet Pakistan, og en mastergrad i cybersikkerhet og kunstig intelligens fra Storbritannia og Universitetet i Sheffield.

Med bakgrunnen innenfor kunstig intelligens med seg, var det innen rekkevidde å hjelpe Faktisk med å utvikle mer effektive verifiseringsverktøy.

– Faktisk.no får hele tiden inn videoer fra ulike land. Ved å identifisere språket blir det enklere å verifisere lokasjonen videoen kommer fra, forklarer Khan og legger til:

– Prototypen viser også hvilke land det aktuelle språket snakkes i.

Tidlig fase

Begge prototypene er basert på kunstig intelligens, eller nærmere bestemt såkalt dyplæring. Verktøyet som identifiserer militære kjøretøy er basert på bilder av ulike typer tanks og deres kjennetegn.

Prototypen, som foreløpig kun brukes til eksperimentering, kan også fortelle noe om graden av skader på kjøretøyene.

– Dette verktøyet er i en veldig tidlig fase, og det hender at prototypen gjør feil. Modellen er ikke trent for et stort datasett, fordi vi ikke har datasett med bilder av militære kjøretøy offentlig tilgjengelig. Over tid vil jeg samle flere bilder manuelt og trene modellen med mer data, forklarer Khan.

Og selv om prototypen noen ganger gjør feil, er den gjort mer eller mindre treffsikker ved å presentere flere alternativer til det mest sannsynlige kjøretøyet.

LES OGSÅ:

VG-utviklernes app har spart journalistene over 1000 arbeidstimer på tre uker