I industribyen Mo i Rana rett sør for Svartisen ligger et hefte med aviser på en maskin på størrelse med en liten varevogn. Skanneren blar ved hjelp av luft og robotarmer om fra side til side i lokalavisa fra sekstitallet, og på en skjerm like ved kan en se at sidene blir fotografert og omdannet fra bilde til digitalisert tekts.
På denne måten har Nasjonalbiblioteket (NB) i Rana de siste tjue årene digitalisert hver eneste bok gitt ut på norsk, de aller fleste allmenntidsskrift og 4,5 millioner avisutgaver.
Dette arbeidet startet for å sikre folk i Norge tilgang til innholdet i dokumentene som blei digitalisert. I dag kan det legge grunnlaget for et norsk forsprang i arbeidet med utviklingen av språkmodeller og kunstig intelligens.
Blitt en kjerneteknologi
Språkmodellene har i løpet av veldig kort tid etablert seg som en kjerneteknologi på mange felt i samfunnet. Folk flest opplever dem gjennom tjenester som Deepseek, Gemini eller ChatGPT, men etter hvert finnes de overalt. Det er nesten ingen prosesser i livene våre som ikke er knyttet til en digital tjeneste, og alt som går gjennom en PC eller en mobil i dag, involverer også en eller annen form for kunstig intelligens.
For å skape en velfungerende språkmodell er selve programvaren det viktigste elementet. Deretter kommer treningsdataene, og det er nettopp dette Nasjonalbiblioteket har skapt på skannere i Rana de siste tjue årene – det beste treningssettet for kunstig intelligens på et lite språk og en liten kultur som noen nasjon i verden har i dag.
Dataene som brukes til å trene modellene, bestemmer i stor grad hvordan de presterer. Modellene lærer seg språk ved å analysere eksemplene i treningsdataene. Med tilstrekkelig mange og gode eksempler på bokmål eller nynorsk kan modellene bli dyktige i disse målformene.
Vi ønsker dessuten at modellen skal gjenspeile hvordan samfunnet vårt fungerer – ikke det kinesiske eller amerikanske. Derfor trenger vi også mange og gode eksempler på dette. Slike eksempler finner vi gjerne i litteratur, aviser og offentlige publikasjoner. Og dette er nettopp det materialet som finnes digitalisert i Nasjonalbibliotekets samling.
Utkonkurrerer OpenAI
Nasjonalbibliotekets AI-lab, som ble opprettet i 2018, har gjennomført en rekke eksperimenter og forskningsprosjekter som demonstrerer at ytelsen i språkmodeller påvirkes positivt med treningsdata fra den digitale samlingen. Modellene blir bedre språklig, og de forholder seg bedre til norske forhold.
VG har for eksempel demonstrert at en relativt liten språkmodell som er basert på Nasjonalbibliotekets samling i enkelte tilfeller utkonkurrerer veldig store GPT-modeller hos OpenAI.
Dette er bakgrunnen for at Stortinget i statsbudsjettet for 2025 bevilger 40 millioner ekstra til Nasjonalbiblioteket (NB) for å trene språkmodeller til bruk i og av det norske samfunnet. Vi er allerede i gang med å etablere et AI-senter som skal kombinere forskning, innovasjon og tjenester til samfunnet. Kjerneoppgaven er å trene et sett generelle modeller som stilles til rådighet for fri og tilnærmet ubegrenset bruk. Brukslisensen vil også åpne for at andre aktører kan integrere modellene i kommersielle produkter og tjenester.
Modellene som planlegges, vil trolig bygge på arkitekturer som Gemma, Llama og Mistral. Valg av arkitektur og treningsmetoder vil justeres i takt med den internasjonale utviklingen på feltet. De ferdigtrente modellene vil gjøres tilgjengelige i ulike størrelser tilpasset forskjellige bruksområder. Intensjonen er at offentlige og private virksomheter kan ta dem i bruk direkte, samt tilpasse og finjustere dem etter egne behov.
Mot talebasert samhandling
Men språkmodeller handler ikke bare om tekst. I 2024 lanserte NB en forbedret versjon av OpenAIs modell Whisper. NB-Whisper er nå den beste modellen for norsk tale-til-tekst-transkribering og håndterer dialekter langt bedre enn noen tilsvarende modell. Den kan også skrive ut tekst på både bokmål og nynorsk.
NB vil videreutvikle modellen og har samtidig startet eksperimenter med tekst-til-tale. Sammen med med tekstmodellene vil disse støtte utviklingen av mer varierte tjenester, inkludert talebasert samhandling mellom mennesker og maskiner.
NB har ikke som ambisjon å utvikle tjenester som konkurrerer med Deepseek, Gemini eller ChatGPT. AI-senteret skal i stedet levere gode komponenter som andre kan bygge videre på i utvikling av tjenester. For å sikre at modellene dekker brukermiljøenes behov, må disse miljøene involveres i treningsprosessene.
Samtidig må arbeidet holde tritt med den raske utviklingen, og vi vil derfor samarbeide med NorwAI og Universitetet i Oslo/LTG om forskning på feltet. Dersom søknaden om et nasjonalt forskningssenter for språkmodellering innvilges av Norges forskningsråd, vil ny kunnskap bidra til stadig bedre modeller for bruk i det norske samfunnet.
Minoritetsspråk og -kulturer har særlige utfordringer på dette området. Manglende støtte for samiske språk i sentrale digitale tjenester er både et kulturelt og demokratisk problem. Stortinget har derfor bedt NB om også å utvikle språkmodeller for samisk.
Den største utfordringen på kort sikt er å skaffe en stor mengde treningsdata av god kvalitet. Både denne og andre utfordringer vil løses i et samarbeid mellom flere institusjoner, men selve treningen av samiske modeller vil skje ved NBs AI-senter.
Opphavsrett i treningen
I tillegg til oppdraget med å trene modeller for samfunnet, har regjeringen bedt NB om å gjennomføre forhandlinger med de som har rettigheter til publisert tekstlig innhold. Store tech-selskaper blir spesielt i USA saksøkt av rettighetshavere fordi man mener at store språkmodeller er trent på innhold under opphavsrett uten tillatelse.
I Norge velger man i god tradisjon heller å forsøke å etablere avtaler til alles fordel. Derfor har NB i samarbeid med NorwAI/NTNU, Sigma2 og Universitetet i Oslo/LTG gjennomført et krevende forskningsprosjekt for å studere virkningen av å bruke innhold under opphavsrett i trening av norske språkmodeller. Den tekniske rapporten fra prosjektet finnes på nb.no. Rapporten, forteller at en strategisk bruk av innhold under opphavsrett kan forbedre ytelsen i språkmodeller.
Basert på resultatene har NB sammen med rettighetshavere etablert prinsipper for en mulig avtale. Om alle vinder blåser i samme retning, kan Norge som ett av de første landene i verden få slike avtaler på plass.
