Bruken av lokal kunstig intelligens blir stadig mer tilgjengelig. Det reiser samtidig et grunnleggende spørsmål: Er teknologien nyttig nok til å forsvare kjøpet av en dyr datamaskin med store mengder arbeidsminne?

Den viktigste fordelen ved å kjøre modeller lokalt er personvern. Personlige opplysninger trenger ikke lastes opp til skytjenester som drives av OpenAI, Google, Microsoft eller Anthropic. Men gevinsten må veies mot både kostnadene og den praktiske kompleksiteten ved å sette opp og vedlikeholde systemene.

Større maskiner gjør lokale modeller mer tilgjengelige

Interessen for lokal KI blir også drevet av nye datamaskiner. Apple markedsfører sine nyeste Mac-stasjonære som egnet for lokal KI, mens Windows-maskiner med RTX Spark og opptil 128 GB RAM snart skal være tilgjengelige for såkalt agentisk KI.

Eksperimentet ble gjennomført med blant annet en M5 Ultra Mac Studio og andre Mac- og Windows-systemer. Forfatteren understreker at han ikke er KI-ekspert, men lærer teknologien gjennom praktisk bruk. Han ønsker ikke å overlate skriving, redigering eller produksjon av reklamemateriell til en lokal assistent, men mener personvernet gjør det mulig å teste andre, mer avgrensede oppgaver.

Det første verktøyet som ble tatt i bruk, var Hermes Agent, en åpen kildekodebasert, selvhostet KI-agent for macOS, Windows og Linux. Når den brukes sammen med lokale språkmodeller, kan programmet brukes gratis.

En M5 Ultra Mac Studio med 256 GB enhetlig minne gjorde det mulig å prøve nesten hvilken som helst modell. Det store utvalget skapte imidlertid raskt forvirring. Det finnes flere modeller enn det er enkelt å få oversikt over, og de er laget for ulike oppgaver.

Som hovedregel kan modeller med titalls eller hundrevis av milliarder parametere utføre mer krevende oppgaver enn mindre modeller. Siden lokal kjøring ikke krever betaling for hver token, ble en stor modell valgt først: Qwen 3.8 Flash Next. Den har 125 milliarder parametere og er rundt 105 GB stor.

Eksperimentet skal også omfatte mindre Qwen-modeller på enheter som M6 Mac Mini, M5 MacBook Air, Asus TUF Gaming A14 med AMD Strix Halo-prosessor og senere RTX Spark. Installasjonen av Hermes og Qwen gikk forholdsvis raskt, og systemet kunne også styres fra en telefon gjennom en Telegram-bot.

Den første utfordringen var å finne noe nyttig å bruke systemet til

Etter installasjonen oppsto imidlertid et annet problem: Et tomt tekstfelt og spørsmålet om hva systemet egentlig skulle brukes til.

For å begynne med en liten oppgave ble Hermes satt opp til å lage en daglig morgenoversikt. Ved hjelp av en cron-jobb sjekker systemet e-post og kalender, peker ut informasjon som krever rask oppmerksomhet, og legger til et kort værvarsel.

Oversikten er i seg selv ikke spesielt nyttig, og det trengs åpenbart ikke en datamaskin til 12 000 dollar for å lage den. Likevel kan oppgaven forbedres gradvis. I starten mislyktes oversikten gjentatte ganger, før det ble oppdaget at macOS-maskinen ikke kunne være i dvalemodus da oppgaven skulle starte klokken 07.30.

Etter at dette ble løst, begynte prosessen å kjøre regelmessig. Det gjenstår likevel å finne ut hvilken ekstra informasjon systemet bør få for at resultatene skal bli mer verdifulle.

Agenten ryddet over 400 Steam-spill på få minutter

Et mer nyttig forsøk var å organisere et Steam-bibliotek med mer enn 400 spill. Spillene var tidligere kategorisert manuelt for situasjoner der brukeren ønsker å velge et nytt spill tilfeldig. Steam tilbyr ikke denne typen klassifisering automatisk, så spillene må ellers sorteres ett for ett.

Etter å ha fått beskjed om å rydde opp i biblioteket, kunne Hermes undersøke den allerede installerte Steam-klienten, identifisere de fleste spillene og foreslå flere måter å organisere dem på. Til slutt ble biblioteket sortert etter sjanger, samtidig som spesialkategorier ble beholdt. Disse omfattet blant annet favorittspill, samarbeidsspill, selskaps- og festspill og spill som var ment å spilles sammen med partneren.

For å gjøre endringene måtte agenten få bestemte tillatelser. I Steam-tilfellet ble det opprettet en Steam Web API-nøkkel som ble gitt til Hermes. Etter at tilgangen var på plass, tok det bare noen minutter å plassere alle spillene i kategorier.

API-nøkkelen kunne enkelt trekkes tilbake etterpå, siden videre tilgang ikke var nødvendig. Resultatet var et langt mer oversiktlig bibliotek. Nye spill må imidlertid fortsatt organiseres manuelt i fremtiden.

Personvern gjorde dataanalyse mulig

Den lokale agenten ble også brukt til analyse av data. Hermes behandlet økonomiske oppføringer og utførte beregninger, og laget et sammenligningsark med spesifikasjoner for en ny bærbar datamaskin.

Dette er relativt enkle oppgaver, men det var nettopp personvernet som avgjorde om de i det hele tatt kunne overlates til KI. Økonomiske opplysninger var ikke ønsket lastet opp til en skytjeneste, mens data om den bærbare datamaskinen på det tidspunktet var underlagt embargo.

At all informasjonen forble på datamaskinen, var derfor den avgjørende grunnen til å velge et lokalt verktøy.

Automatisering av ytelsestester er fortsatt under utvikling

Det mest kompliserte automatiseringsprosjektet så langt er et skript for å kjøre ytelsestester på bærbare datamaskiner. Vanligvis startes alle referansetestene manuelt. Det er tidkrevende å passe på en maskin som skal gjennomføre rundt et dusin tester tre ganger for å beregne et gjennomsnittsresultat.

Målet er å automatisere minst deler av prosessen. Men heller ikke her kom KI med en umiddelbar løsning. Hermes måtte få alle nødvendige trinn forklart steg for steg, mens Python-skriptene som ble generert – og som forfatteren beskriver som «vibe coded» – fortsatt blir forbedret.

Prosjektet er ikke ferdig og befinner seg fortsatt på utviklingsstadiet. Erfaringen viser dermed at en lokal agent kan bidra med praktisk arbeid, men ikke nødvendigvis kan forstå hele oppgaven eller bygge en robust løsning uten tett oppfølging.

Lokale modeller er verktøy, ikke digitale venner

Eksperimentet er fortsatt i startfasen, og det finnes håp om å finne mange flere praktiske oppgaver Hermes kan utføre. Samtidig er det allerede tydelig at selv kraftige lokale modeller ikke blir en universell, magisk assistent. Ting skjer ikke alltid som planlagt, og morgenoversikten har allerede sluttet å fungere flere ganger.

Lokal KI bør i stedet forstås som et verktøy – et dataprogram som kjører på brukerens egen datamaskin. Målet er ikke å skape en digital venn. Det er heller ikke nødvendig å skrive «takk», «vær så snill» eller beklage overfor agenten når oppgaven endres. Systemet behandles mer nøytralt, på samme måte som når man styrer operativsystemet med en mus.

Videre testing krever samtidig forsiktighet. En agent som selv utfører handlinger på datamaskinen, må få tilgang til filer, programmer og noen ganger eksterne tjenester. Lokal kjøring reduserer risikoen for at sensitive data havner på en skyplattform, men fjerner ikke behovet for å kontrollere tillatelser og resultater nøye.

Erfaringen så langt er derfor todelt: Lokal KI kan gi en viktig personverngevinst og løse konkrete oppgaver, men veien fra installasjon til pålitelig automatisering er både overraskende komplisert og tidvis frustrerende.