OpenAIs nyeste modeller viser betydelig fremgang i arbeid med eldre programmeringsspråk og migrering av såkalt legacy-kode. I en test av hvor godt modellene kan flytte eksisterende COBOL-programmer til andre språk, oppnådde GPT-6.1 Sol en treffsikkerhet på 97,9 prosent ved høyt resonneringsnivå.

Slike forbedringer kan gjøre det enklere for virksomheter å modernisere programvare som fortsatt er viktig for den daglige driften. Banker og finansinstitusjoner bruker kode som ble utviklet for flere tiår siden, og en utskifting innebærer risiko. Under migreringen må både eksisterende beregninger og virksomhetens konkrete regler videreføres.

Eldre kode brukes fortsatt i kritiske systemer

COBOL er fortsatt tett integrert i finansinfrastrukturen. IBM anslår at språket står bak mer enn 40 prosent av nettbaserte banksystemer, 80 prosent av kredittkorttransaksjoner som gjennomføres fysisk, og 95 prosent av minibanktransaksjoner.

Også Fortran har fortsatt en viktig rolle innen vitenskapelig databehandling, blant annet i værvarsling og analyser av sikkerheten ved atomreaktorer. For begge språkene finnes det færre opplæringsressurser enn for populære alternativer som Python og JavaScript.

OpenAI opplyser at utviklere og bedriftskunder tidligere har hatt problemer med å få kodegenererende modeller til å fungere pålitelig med disse eldre språkene. Dokumentasjonen kan være mangelfull, mens viktige forretningsregler i noen tilfeller bare finnes i den opprinnelige kildekoden.

En omskrevet applikasjon kan derfor fungere uten tekniske feil, men likevel gi andre resultater enn originalen. COBOL kan for eksempel forkaste overflødige desimaler dersom programmet ikke uttrykkelig ber om avrunding. En slik endring i oppførselen kan påvirke økonomiske beregninger.

Testet mot skjulte tester

OpenAIs COBOL-evaluering undersøker om modellene kan oversette eksisterende programmer til C++, Java, Kotlin, Python eller Rust uten å endre funksjonaliteten.

Ved lavt resonneringsnivå oppnådde GPT-6.1 Sol 86,6 prosent treffsikkerhet, mot 5,4 prosent for GPT-5.6 Sol. OpenAI rapporterte samtidig at API-kostnadene i dette oppsettet ble redusert med 39 prosent.

Ved høyt resonneringsnivå nådde GPT-6.1 Sol 97,9 prosent. For at et program skulle telle som godkjent, måtte den oversatte koden bestå alle skjulte tester. Testene sammenlignet blant annet den observerbare utdataen med utdataen fra det opprinnelige programmet.

Tallet beskriver modellens ytelse i OpenAIs testsett, ikke en garanti for migrering uten feil. Utviklere må fortsatt teste de omskrevne applikasjonene med reelle arbeidsbelastninger og ta høyde for avhengigheter som ikke er dokumentert.

Store forskjeller mellom språkene

Modellene ble også testet med MultiLangBench, som måler evnen til å lage en SQLite-kompatibel databasemotor i 20 programmeringsspråk.

GPT-6 Astra oppnådde en gjennomsnittlig bestått-andel på 87,4 prosent, mot 26,8 prosent for GPT-5.6 Sol. Astra forbedret resultatene i alle språkene som ble testet. Fortran-resultatet økte fra 21,4 til 83,5 prosent, mens Visual Basic økte fra 27,5 til 89,4 prosent.

COBOL var fortsatt det vanskeligste språket i testen, men Astra økte resultatet fra 10,9 til 72,1 prosent. Resultatene viser dermed både fremgang og tydelige forskjeller mellom språkene.

GPT-6 Luna fikk en lavere gjennomsnittlig bestått-andel på 40,3 prosent. Til gjengjeld kostet det omtrent 78 prosent mindre å lage ett eksempel enn med GPT-5.6 Sol. OpenAI anslo de gjennomsnittlige API-kostnadene til henholdsvis 0,77 og 3,48 amerikanske dollar.

Resultatene tyder på bedre støtte for vedlikehold av eldre programvare, men virksomheter må kontrollere at moderniserte systemer fortsatt utfører de nødvendige oppgavene. Lunas lavere kostnader kan gjøre det mulig for ingeniørteam å gjennomføre flere eksperimenter uten en tilsvarende økning i budsjettet. Før migrert programvare tas i bruk i kritiske operasjoner, må den likevel valideres grundig.