Kinesiske forskere undersøker hva som skal til for å utvikle «den siste KI-en bygget av mennesker» – et kraftig kunstig intelligens-system som kan forbedre seg selv og lage nye versjoner av seg selv.

Studien ser på såkalt rekursiv selvforbedring, eller RSI, som en mulig måte å håndtere de stadig høyere økonomiske og beregningsmessige kostnadene ved å utvikle avanserte KI-modeller. Studien ble publisert som forhåndstrykk på arXiv 10. september, men er ikke fagfellevurdert.

En skala fra menneskestyrt til selvstendig

RSI bygger på ideen om at framtidige KI-modeller selv kan styre deler av treningen og videreutviklingen. Det de lærer i én forbedringsrunde, kan brukes til å planlegge den neste.

En slik tilbakekoblingssløyfe kan i teorien gjøre det mulig for KI-systemer å utvikle stadig nyere og kraftigere modellgenerasjoner med svært lite menneskelig innblanding.

Forskerne foreslår et rammeverk som klassifiserer KI-systemer etter hvor gode de er til å forbedre seg selv. Skalaen går fra nivå 1, som er det laveste, til nivå 5, som er det høyeste.

På de laveste nivåene er utviklingen fortsatt i hovedsak styrt av mennesker. Etter hvert som systemene beveger seg oppover på skalaen, skal de kunne identifisere egne svakheter og avgjøre hvordan de skal håndteres. På de høyeste nivåene kan systemene få evnen til å gjøre såkalte meta-forbedringer – altså forbedre selve måten de forbedrer seg på.

Har begrensede forsøk allerede vist RSI?

Det er fortsatt uavklart om KI noen gang vil klare en slik vedvarende selvforbedring. Tidligere forsøk har likevel vist mer begrensede former for RSI.

I en studie tidligere i år fikk et KI-system kalt A-Evolve-Training i oppgave å forbedre ytelsen til en stor språkmodell med 30 milliarder parametere.

Over fire runder forbedret A-Evolve-Training modellens resultater i tester i begrenset grad. Systemet prøvde ut ulike treningsmetoder og brukte resultatene til å endre hvordan det gjennomførte de påfølgende eksperimentene.

Peter Bentley, professor i digital biologi ved University College London, mener likevel at slike forsøk ikke nødvendigvis viser en troverdig vei til RSI.

«Denne ideen om at en eller annen KI på magisk vis skal begynne å generere stadig bedre KI-er på egen hånd, er tull», skrev Bentley i en e-post til Live Science.

Bentley påpekte at selvforbedrende datasystemer har eksistert i flere tiår. Evolusjonær databehandling og forsterkende læring bygger begge på prinsippet om at systemer gradvis forbedrer ytelsen sin som svar på tilbakemeldinger.

Avhengig av forskning, maskinvare og testing

Ifølge Bentley er den langt større utfordringen å utvikle KI-systemer som på egen hånd kan gjennomføre forskningen som trengs for å lage kraftigere etterfølgere. Systemene må også overvinne avhengigheten av menneskelig ekspertise og fysisk datainfrastruktur.

«Du kan ikke ‹forbedre deg selv rekursivt› med mindre du også kan forbedre din egen trening, forbedre maskinvaren din og teste den grundig i virkelige situasjoner», la Bentley til.

Studieforfatterne erkjenner flere av de samme problemene. Systemer som skal kunne gjennomføre RSI, kan kreve enorme investeringer i datakraft. Det kan også være nødvendig med menneskelig oppfølging for å sikre at forbedringene fra én generasjon til den neste faktisk gir meningsfulle gevinster.

Hvis ressursene som trengs for å utvikle og teste de neste KI-modellene blir større enn fordelene de gir, kan hele prosessen miste hensikten, påpeker forskerne.

Vanskelig å måle reell framgang

Forskerne må dessuten finne en pålitelig måte å avgjøre om et KI-system virkelig blir mer kapabelt fra runde til runde. En høyere poengsum i en test trenger ikke bety at systemet har blitt bedre på den underliggende oppgaven.

Modeller kan i stedet utnytte svakheter i testene eller velge ut resultater som får dem til å framstå bedre enn de er. Dette er allerede et kjent problem i KI-utviklingen.

Kayla Blomquist, KI-forsker ved University of Oxford og medgrunnlegger av Oxford China Policy Lab, mener studien ikke gir et praktisk veikart til RSI. Hun mener likevel at den kan hjelpe utviklere og beslutningstakere med å forstå de tekniske utfordringene og sikkerhetsrisikoene ved stadig mer autonome KI-systemer.

Blomquist stiller også spørsmål ved om det noen gang vil finnes et tydelig tidspunkt der KI er blitt fullstendig uavhengig av menneskelig utvikling.

«Studien beskriver en gradvis overføring av ansvar, snarere enn ett bestemt øyeblikk. Derfor vil det kanskje aldri finnes en åpenbar ‹siste› modell bygget av mennesker», la Blomquist til.