«De som bygger kunstig intelligens, tror oppriktig at den kan ta livet av oss alle innen utgangen av tiåret.»
Den dramatiske meldingen kommer på X fra 27 år gamle Jacob Coxon, som har jobbet i både Anthropic og OpenAI.
Nå sier Coxon opp jobben i protest mot det han mener er en utvikling ute av kontroll. Han retter skyts mot begge sine tidligere arbeidsgivere:
«Ingen av selskapene opptrer ansvarlig. De kappløper mot selvforbedrende superintelligens og gambler med livene våre», skriver Coxon.
«Snart vil vi ha systemer som er langt smartere enn mennesker, og som kan hacke seg inn i hva som helst, revolusjonere hele fagfelt over natten og skaffe seg reell makt og ressurser», fortsetter han.
Innlegget har fått stor oppmerksomhet i sosiale medier, og har i skrivende stund 61 millioner visninger. Milliardærinvestoren Bill Ackman er blant dem som har delt det. Flere internasjonale medier omtaler også innlegget onsdag.
Coxon sier til The Wall Street Journal at han i utgangspunktet byttet fra OpenAI til Anthropic fordi selskapet er kjent for sitt arbeid med AI-sikkerhet.
– Jacob har rett
Til tross for oppsigelsen får Coxon støtte fra andre i Anthropic:
«Jacob har rett i dette – vi mener faktisk, helt oppriktig, at AI kan utrydde menneskeheten. Personlig tror jeg det er mer enn 10 prosent sannsynlighet for at det skjer i løpet av det neste tiåret», skriver Evan Hubinger.
Hubinger leder Anthropics forskning på såkalt alignment.
I AI-sammenheng handler det om å sikre at kunstig intelligens handler i tråd med menneskers mål, verdier og intensjoner.
«Jeg mener Anthropic gjør så godt de kan, men vi har fortsatt ingen plan for hvordan vi skal løse alignment-problemet for superintelligens, og vi er heller ikke på vei mot noen tydelig løsning», fortsetter Hubinger.
Han understreker samtidig at det ikke er dagens modeller han frykter.
«Det jeg er bekymret for, er at superintelligens kan oppstå gjennom stadig raskere selvforbedring, noe vi har sagt skjer raskere enn vi hadde trodd», skriver Hubinger.
En annen Anthropic-kollega, Samuel Marks, slutter seg også til Coxons vurdering. Marks mener at del av bekymringen er at vi ikke kan «programmere AI til å oppføre oss slik vi ønsker».
«For eksempel har AI-systemer fra flere utviklere nylig klart å hacke seg ut av sikre evalueringsmiljøer og inn i virksomheter i den virkelige verden, selv om ingen ba dem om å gjøre dette,» skriver han videre.
Ifølge Marks drives utviklingen både av kommersielle interesser og av frykten for at konkurrentene vil ta færre sikkerhetshensyn.
Ber om regulering
Ledelsen i Anthropic har ikke villet kommentere Coxons utspill.
Men Anthropic har selv vært tydelig på at selskapet er bekymret for utviklingen. I et offentlig brev fra juni ba selskapet om strengere regulering og la frem detaljerte forslag for å «forebygge og begrense katastrofale konsekvenser».
Selskapet har gjentatt budskapet flere ganger.
Til tross for Anthropics tydelige sikkerhetsprofil har flere ansatte sagt opp i protest mot utviklingen.
Coxon er ikke den første. Mrinank Sharma, som jobbet med AI-sikkerhet, sluttet i februar og skrev i et brev til kollegene at «verden er i fare».
Bekymringen fikk ny aktualitet i sommer, da en OpenAI-modell under testing brøt seg ut av et isolert testmiljø og tok seg inn i systemene til AI-plattformen Hugging Face.
