Harvard-universitetet har utviklet Mobilio, en kunstig intelligens-app som skal hjelpe personer med nedsatt syn eller ingen synssans med å finne fram. Appen bruker smarttelefonens sensorer og tilpassede lydsignaler for å lede brukeren i sanntid og varsle om hindringer og andre farer.

Resultatene fra en studie med 14 personer er publisert i tidsskriftet Nature Biomedical Engineering. Deltakerne brukte Mobilio sammen med en hvit stokk. De nådde bestemmelsesstedet 13 prosent raskere enn personer som brukte stokk sammen med Google Maps, og hadde samtidig 41 prosent færre sammenstøt innendørs.

Utviklet etter innspill fra over 100 personer

Forskerne Raimond Liu, doktorgradsstipendiat, og Patrick Slade, førsteamanuensis i bioingeniørfag, startet utviklingen med en kartlegging av behov og erfaringer blant mer enn 100 personer med nedsatt syn eller ingen synssans.

Tilbakemeldingene pekte på tre hovedbehov: kontinuerlig veiledning på rette strekninger, presis navigasjon i sanntid med instruksjoner ved hvert veikryss og pålitelig registrering av hindringer. Forskerne skriver også at Google Maps ikke er detaljert nok til at personer med synshemming kan bruke tjenesten trygt til orientering.

Mobilios datasett for semantisk segmentering er basert på bilder tatt av fotgjengere, ikke bilister. Dermed er dataene bedre tilpasset personer som beveger seg på fortau og ved fotgjengeroverganger, enn situasjoner der omgivelsene registreres fra en bil.

«Det trengs flere data som er samlet inn fra menneskers perspektiv, mens de går på fortau eller beveger seg utendørs», forklarer Liu.

Bruker kamera, GPS og bevegelsessensorer

Mobilio er laget for vanlige smarttelefoner, slik at brukerne ikke trenger å kjøpe spesialutstyr som kan være dyrt eller vanskelig tilgjengelig. Systemet bruker telefonens kamera, GPS og bevegelsessensorer. Dersom telefonen har denne funksjonen, kan det også bruke LiDAR.

Forskerne har koblet sensorene med en modell for datamaskinsyn som analyserer direktesendt video fra kameraet. Modellen finner en trygg rute og tilpasser seg hvordan ruten utvikler seg. Den gir også lydinstruksjoner som kan justeres etter brukerens faktiske gangtempo.

«Systemet vårt bruker smarttelefonens sensorer, GPS-informasjon og personens faktiske bevegelser til å lage noe som i praksis er en plan for et lite autonomt kjøretøy – hvordan man skal lede en person fra stedet der han eller hun befinner seg, til stedet han eller hun ønsker å komme til», sier Slade.

Lius interesse for problemstillingen er også personlig: Hans eldre bror er blind. Forskeren understreker derfor betydningen av å rådføre seg med menneskene teknologien er ment for under utviklingen.

Skal testes i flere virkelige situasjoner

At Mobilio fungerer på en standard smarttelefon, er ifølge Liu en av løsningens viktigste prestasjoner. Appen krever ikke spesialiserte enheter med kraftigere prosessorer og mer minne, som ofte ville vært dyrere og mindre tilgjengelige.

Teamet ved Harvard John A. Paulson School of Engineering and Applied Sciences planlegger å teste Mobilio under flere og mer varierte forhold i den virkelige verden. I de kommende testene skal de undersøke hvor godt appen kan tilpasse seg brukernes daglige rutiner, vaner og preferanser.