– Vi må senke tempoet vi forbedrer kapasiteten til AI-modellene i, skriver Anthropic-sjef Dario Amodei i et blogginnlegg lørdag.
– Fremgangen vil fortsatt oppleves som rask, og vi må bruke tiden vi vinner klokt.
Bloomberg omtalte utspillet tidligere lørdag.
Amodei peker særlig på to utviklingstrekk som bekymrer ham. Det ene er at AI-systemer i økende grad kan bidra til å utvikle stadig bedre AI-modeller.
Det andre er en sikkerhetshendelse hos OpenAI og Hugging Face i juli. Under interne tester klarte OpenAI-modeller å omgå sikkerhetskontroller, skaffe seg internettilgang og få tilgang til tredjepartssystemer. Handlingene var ikke i tråd med oppgavene modellene hadde fått.
– Etter min vurdering kunne en sverm med større kapasitet, men samme grad av feilinnretting, ha forårsaket katastrofal skade.
– Med tempoet i AI-utviklingen frykter jeg at en slik sverm om seks til tolv måneder kan være i stand til å ta kontroll over hele internett gjennom et vedvarende botnett – et nettverk av hackede datamaskiner, skriver Amodei.
Vil ikke stoppe
Det betyr ikke at Anthropic-sjefen vil stanse AI-utviklingen.
– For å være tydelig: Å senke tempoet betyr ikke å stanse trening av modeller eller teknologisk fremgang, men å sørge for at selskapene tar seg nok tid til å gjøre modellene sikre, og at eksterne evaluatorer kan kontrollere dette.
Anthropic vil samtidig slippe eksterne eksperter tettere inn for å kontrollere selskapets sikkerhetsarbeid.
Men Amodei mener Anthropic ikke kan bremse alene. Det vil kreve samarbeid mellom de ledende AI-selskapene og etter hvert mellom land.
Samtidig har han ikke mistet troen på teknologien.
– Jeg tror fortsatt AI kan forbedre menneskers liv enormt. Mitt ønske om å realisere disse fordelene er uendret.
– Men fordelene vil bare bli realisert dersom vi bygger teknologien på riktig måte. Og så lenge vi bruker tiden vi vinner godt, er det verdt å være uvanlig grundige for å få det riktig.
Flere advarsler
Utspillet kommer etter en uke med oppsiktsvekkende advarsler fra menneskene som selv bygger verdens mest avanserte AI.
OpenAI-sjef Sam Altman sa tidligere denne uken at selskapet vurderer å bremse utviklingen av de mest avanserte AI-modellene, helst sammen med resten av bransjen. OpenAIs forskningssjef Jakub Pachocki har også sagt at selskapene bør koordinere seg for å bremse den videre utviklingen dersom det blir nødvendig.
Tirsdag sa AI-forskeren Jacob Coxon opp og anklaget sine tidligere arbeidsgivere Anthropic og OpenAI for å «gamble med livene våre» i kappløpet mot superintelligent AI.
Anthropic-forsker Evan Hubinger svarte at bekymringen finnes også internt. Han anslår selv risikoen for at AI kan utslette menneskeheten i løpet av det neste tiåret til over 10 prosent.
