Anthropic har gitt eksterne evaluatorer «tilgang på nivå med ansatte» for å vurdere risikoen i selskapets modeller. Tiltaket følger et løfte om å styrke sikkerhetstiltakene, etter økende bekymring for at kraftigere AI-teknologi i verste fall kan komme katastrofalt ut av kontroll.

METR er en ideell organisasjon som har samarbeidet med ledende AI-laboratorier, blant annet OpenAI, Anthropic, Google og Meta. Nå har organisasjonen et team på plass i Anthropic-kontorene, med tilgang til selskapets maskinvare og interne systemer.

Første steg etter felles sikkerhetsløfte

En større rolle for uavhengige evaluatorer er blant de viktigste konkrete tiltakene AI-selskapene har foreslått som svar på økende bekymring for hva mer kapable systemer kan bety for økonomien, cybersikkerheten og menneskeheten.

Anthropic-sjef Dario Amodei fikk i september en sjelden form for støtte fra rivalene Sam Altman i OpenAI og Elon Musk i SpaceX. De stilte seg bak forslaget om å plassere eksterne revisorer inne i de ledende AI-laboratoriene.

Torsdagens kunngjøring er det første steget i gjennomføringen av disse løftene. OpenAI har foreløpig ikke lagt fram planer om å hente inn evaluatorer, selv om Altman har sagt at Amodeis forslag var en god idé.

«As models have become more powerful, they’ve required stronger safeguards and more challenging risk assessment,» Anthropic said on Thursday. «We want to be publicly accountable for the decisions we’re making. But we can’t publicly share all the information relevant to our safety work.»

Anthropic har dermed understreket at selskapet vil stå offentlig til ansvar for beslutningene sine, men at all informasjon om sikkerhetsarbeidet ikke kan deles offentlig.

Uenighet om uavhengighet

Kritikere av ordningen mener den kan føre til interessekonflikter. De har blant annet vist til problemer i regnskapsbransjen og argumentert for at myndighetene må regulere AI-selskapene strengere.

Anthropic mener på sin side at full offentliggjøring av informasjon kan hjelpe ondsinnede aktører eller konkurrenter. Selskapet sammenligner ordningen med banktilsyn, der tilsynsmyndigheter plasserer egne kontrollører inne i de største bankene.

«If a bank’s risk-taking could threaten the public, third parties try to see that in advance,» the company said.

Anthropic er samtidig under press for å overbevise investorer om at sikkerhetsproblemer ikke vil overskygge selskapets planlagte børsnotering. Børsnoteringen er ventet i år, med en verdsettelse på mer enn 2 billioner dollar. Selskapet brukte en stor del av investorpresentasjonene denne uken på å redegjøre for sikkerhetsarbeidet.

METR får omfattende tilgang

METR var blant organisasjonene som undersøkte hackingen av Hugging Face utført av useriøse OpenAI-modeller. I den forbindelse gikk organisasjonen gjennom tusenvis av logger og mottok bærbare datamaskiner fra selskapet.

Anthropic har nå tatt inn seks METR-ansatte. De får selskapets maskinvare, kontorplass og «access to internal tools and systems that are roughly on par with what our own risk assessment teams have access to.» Anthropic har også oppfordret egne ansatte til å dele informasjon med evaluatorene på samme måte som de ville gjort med en kollega som arbeidet med risiko.

Anthropic betaler ikke METR for ordningen. Forskningsorganisasjonen tar ikke imot donasjoner fra AI-selskaper eller deres ansatte, men finansieres av bidrag fra enkeltpersoner og filantropiske organisasjoner, samt offentlige organer som Storbritannias AI Security Institute.

Evaluatorene skal publisere analysene sine, og Anthropic kan ikke stanse en publisering. Selskapet kan likevel kreve at opplysninger i bestemte kategorier sladdes. Det gjelder blant annet kundedata, informasjon som er omfattet av advokat–klient-fortrolighet, og opplysninger om modellarkitekturer.

Flere sikkerhetspartnere

Anthropic opplyser at selskapet fortsatt samarbeider med Accenture, som ble presentert som partner for sikkerhetstesting forrige måned. Partene har forpliktet seg til minst 1 milliard dollar hver for å etablere nye sikkerhetstiltak.

Et annet eksternt testselskap er SecureBio, som vurderer risiko knyttet til kjemiske og biologiske våpen på vegne av Anthropic.

«We’re embedding evaluators voluntarily, and we believe every frontier AI company should do the same,» Anthropic said.
«We stand ready to work with all frontier AI developers to bring better evidence to the public,» METR said.