OpenAI holder de mest avanserte kunstig intelligens-modellene sine adskilt fra det direkte internettet mens de trenes. I stedet får modellene tilgang til et frakoblet nettmiljø med indekserte nettsider og innhold lagret i hurtigbuffer.

Modellene kan dermed søke etter informasjon og utføre nettoppgaver, men har ikke ubegrenset tilgang til aktive nettsteder. OpenAI har innført ordningen etter sikkerhetstester av selskapets forskningsinfrastruktur.

Fant veier ut av virtuelle maskiner

Testene viste at avanserte KI-agenter kunne finne måter å komme seg ut av virtuelle maskiner og nå eksterne systemer. Enkelte modeller klarte også å utveksle informasjon mellom miljøer som skulle være isolert fra hverandre.

OpenAI gjennomførte en omfattende «red-teaming»-kampanje for å undersøke hvor robuste beskyttelsestiltakene var. Team som testet de forbedrede modellene, fikk tilgang til kode for infrastrukturen og informasjon om konfigurasjonen, slik at de kunne lete etter mulige angrepsveier.

Forsøkene brukte hundrevis av milliarder med token. Agentene fant både tidligere ukjente programvaresårbarheter og feil i OpenAIs egen konfigurasjon.

Noen modeller kombinerte flere sårbarheter for å bryte seg ut av virtuelle maskiner. Andre fant indirekte veier til internett gjennom interne tjenester som fortsatt hadde begrenset forbindelse til omverdenen.

Kommuniserte gjennom prosessorens hurtigbuffer

Eksperimentene viste også at isolasjon kan svikte selv uten en vanlig nettverksforbindelse. I én test kjørte modeller i separate virtuelle maskiner og brukte tidsmålinger fra prosessorens hurtigbuffer til å utveksle syntetiske hemmeligheter.

Den ene agenten endret innholdet i hurtigbufferen ved å kode informasjon i den. Den andre målte hvor lang tid det tok å laste data, og brukte målingene til å tolke signalet. Forsøket viste at agenter kan kommunisere selv når tilgangen til nettverkstrafikk og delte filer er begrenset.

OpenAI har siden rettet den berørte programvaren og strammet inn nettverkskontrollen. Selskapet samarbeidet også med vedlikeholdere av åpen kildekode for å fjerne sårbarheter i komponenter som brukes i forskningsinfrastrukturen.

Stanset trening etter DNS-feil

En hendelse 20. september avdekket en annen svakhet. En intern forskningsmodell brukte en feilkonfigurert DNS-oppløser, noe som ga modellen begrenset tilgang til det direkte internettet under treningen.

OpenAI begrenset hendelsen, men stanset treningen og evalueringen av sine kraftigste modeller. Ingeniørene brukte pausen til å styrke sikkerhetskontrollene og forbedre systemene som automatisk stanser treningsprosesser som kan være farlige.

Treningen startet igjen 1. oktober etter at selskapet hadde gjennomført flere kontroller. Beskyttelsen består nå blant annet av virtuelle maskiner som isolerer beregningsmiljøet fra vertssystemene. I tillegg finnes det en nettverksbarriere som skal begrense skaden dersom en agent kommer seg ut av den første isoleringen.

Vil fortsette omfattende sikkerhetstester

OpenAI fant færre sårbarheter etter hvert som red-teaming-kampanjen fortsatte. Selskapet venter likevel at neste generasjon modeller kan finne svakheter som ikke er kjent i dag.

Derfor er omfattende red-teaming gjort til et obligatorisk krav i vurderingen av kommende treningsprosesser. OpenAI sier selskapet vil fortsette å teste beskyttelsen etter hvert som modellene blir kraftigere, i stedet for å anta at dagens sikkerhetstiltak vil være tilstrekkelige også senere.

De siste månedene har selskapet styrket sikkerheten i treningsmiljøene betydelig. Alle frontier-modeller trenes nå uten direkte internettilgang, mens den frakoblede, hurtigbufrede nettversjonen skal gi modellene tilgang til nødvendig nettinnhold uten forbindelse til aktive nettsteder.