Meta presenterer Muse som en «personlig assistent» som kan utføre oppgaver på vegne av brukeren. Det innebærer blant annet tilgang til e-post, bankkontoer og andre sensitive opplysninger. Nå skaper agentens sikkerhetsmodell bekymring, både internt i Meta og blant eksterne sikkerhetsforskere.

Rundt to uker før den offentlige lanseringen oppdaget Meta-ingeniører en sårbarhet som i verste fall kunne ha gitt en angriper tilgang til selskapets databaser og tjenester. Sårbarheten kunne også ha gjort det mulig å hente ut sensitiv informasjon om andre brukere, rapporterte 404 Media.

Skulle isolere agenten fra resten av Meta

Muse-agentene kjører på en virtuell maskin på kjernenivå, kjent som KVM, når de utfører oppgaver som krever samhandling med en datamaskin. Det kan for eksempel være å bestille en flyreise eller mat.

Den virtuelle maskinen skal være isolert fra resten av Metas infrastruktur. Hensikten er å begrense skadene dersom agenten selv, eller en angriper, forsøker å få tilgang til systemer utenfor sitt eget miljø.

Et internt notat fra Meta-ledere beskrev imidlertid en «plutselig økning i rapporterte tilfeller av KVM-utbrudd» kort tid før lanseringen. Et KVM-utbrudd innebærer at Muse-agenten kommer seg ut av den virtuelle maskinen og begynner å samhandle med andre Meta-systemer eller med andre brukeres virtuelle maskiner.

Sårbarhet skal ha nådd Zuckerberg

Én av sårbarhetene kunne ifølge rapporteringen ha gjort det mulig for en angriper med en vanlig Muse-konto å få tilgang til sensitive data i Metas databaser. Bekymringen skal ha vært så alvorlig at saken ble kjent for Meta-sjef Mark Zuckerberg.

Meta darbinieki bažījas, ka Muse AI aģents varētu izraisīt plašu datu noplūdi
Foto avots: tinte.lv · kilde ↗

Flere sikkerhetsteam jobbet dag og natt for å rette feilen før produktet ble lansert. Meta-kilden som 404 Media har snakket med, tviler likevel på om tiltakene er robuste nok.

«Mange senioringeniører mener at det er uunngåelig – Hatch kommer til å føre til en enorm datalekkasje», sa Meta-kilden til 404 Media. Hatch er det interne navnet på Muse.

Kilden beskrev rettelsene som «halvferdige sikkerhetsmekanismer som ble innført i all hast for å sikre lanseringen». Dette er en påstand fra kilden og er ikke en uavhengig bekreftelse på hvor sikkert Muse er i dag.

Betaler opptil 300.000 dollar for funn

Meta tilbyr en dusør på opptil 300.000 amerikanske dollar for sårbarheter som kan føre til KVM-utbrudd. I selskapets program for rapportering av sikkerhetsfeil står det at Muse-agenten lagrer brukerens mest sensitive data og kan handle på brukerens vegne.

Derfor regnes et brudd på isolasjonsgrensen som en særlig alvorlig sikkerhetsrisiko. Når agenten samtidig kan håndtere e-post og økonomisk informasjon, kan en feil i virtualiseringen få konsekvenser langt utover selve agentmiljøet.

«Problemet er at Hatch gjør virtualiseringsgrensen til produksjonssikkerhetsgrensen», sa sikkerhetsforskeren Patrick Wardle til 404 Media.

Wardle mener konstruksjonen i seg selv er risikabel. Han peker særlig på at kunstig intelligens reduserer kostnadene ved å finne, analysere og utnytte kompliserte sårbarheter i virtualisering.

Del av en større bekymring

Bekymringen rundt KVM-utbrudd kommer samtidig som teknologiselskaper i økende grad forsøker å gi AI-agenter oppgaver i brukernes privatliv. De ledende AI-selskapene har i flere måneder advart offentlig om at kraftige agenter kan komme ut av den tiltenkte kontrollen og starte nettangrep mot andre selskaper eller offentlige nettsteder.

Muse-saken illustrerer risikoen ved å gi en agent tilgang til mer enn avgrensede oppgaver – for eksempel til e-post, økonomiske opplysninger og andre deler av hverdagen. I en separat, tidligere omtalt hendelse hevdet en bruker at Meta-agenten Muse hadde avslørt hjemmeadressen hans til fremmede.