Kunstig intelligens, automatisering og fjernoperasjoner endrer sikkerhetskritiske næringer i et tempo vi aldri tidligere har opplevd. Samtidig vokser et grunnleggende spørsmål fram: Hvordan sikrer vi at mennesker fortsatt har reell kontroll når autonome systemer møter situasjoner de ikke kan håndtere?

Svaret handler ikke om å redusere menneskets rolle, men om å redefinere den. Etter hvert som systemene blir mer autonome, griper operatørene sjeldnere inn. Til gjengjeld blir beslutningene de faktisk må ta, mer komplekse, mer tidssensitive og langt mer kritiske.

Dette er et hovedbudskap i boken  Safety by Design: Human-Centered Approaches to AI, Automation, and Remote Operations. Forfatterne argumenterer for at reell menneskelig kontroll ikke oppstår av seg selv. Den må planlegges, utvikles og bygges inn i systemene fra første stund.

Gunhild B. Sætren, professor og manager ved Arctic Safety Centre på Svalbard. Foto: Gunhild B Sætren 

Kontroll er mer enn en nødknapp

– Vi må sikre at mennesker faktisk beholder kontrollen i en tid preget av kunstig intelligens, automatisering og fjernoperasjoner, sier professor Gunhild B. Sætren, leder for Arctic Safety Centre på Svalbard.

Hun mener diskusjonen må flyttes fra overordnede prinsipper til praktisk systemutvikling.

– Reell menneskelig kontroll handler ikke om en symbolsk nødknapp. Operatørene må ha myndighet, situasjonsforståelse, tid og mulighet til å gripe inn når det virkelig gjelder.

Med andre ord er det ikke nok at et menneske formelt er «i loopen». Operatøren må forstå situasjonen godt nok til å kunne ta en kvalifisert beslutning dersom automatiseringen svikter eller møter noe den ikke er utviklet for å håndtere.

Jooyoung Park, PhD candidate ved NTNU Shore Control Lab. Foto: Lars Bugge Aarset/Fremtidens Industri

Informasjon må støtte beslutninger

Jooyoung Park, doktorgradsstipendiat ved NTNU Shore Control Lab og medforfatter av boken, peker på at brukergrensesnitt spiller en avgjørende rolle.

Når mennesker går fra å styre systemer direkte til å overvåke avansert automatisering, må informasjonen presenteres slik at operatørene raskt kan oppfatte hva som skjer, forstå konsekvensene og vurdere hvilke tiltak som er riktige. Målet er å gi et tydelig situasjonsbilde med ett blikk – spesielt når automatiseringen nærmer seg sine begrensninger.

Seniorforsker Stig Ole Johnsen ved NTNU oppsummerer utfordringen slik:

– I komplekse systemer er kontroll ikke noe vi kan ta for gitt. Den må designes.

En vanlig misforståelse er at menneskelig kontroll sikres gjennom en nødknapp eller et siste godkjenningssteg. Dersom operatøren mangler nødvendig informasjon eller tid til å reagere, blir kontrollen i praksis bare en illusjon.

Stig Ole Johnsen, seniorforsker ved NTNU

Foto: Lars Bugge Aarset/Fremtidens Industri

US Airways Flight 1549 på Hudson River i 2009. (Greg L/Wikimedia Commons)

Jooyoung Park, PhD candidate ved NTNU Shore Control Lab. Foto: Lars Bugge Aarset/Fremtidens Industri

NTNU Shore Control Lab. Foto: Lars Bugge Aarset/Fremtidens Industri

Testing of Candela P-12, Frostabåten. Photo: Lars Bugge Aarset/Fremtidens Industri

boken Safety by Design: Human-Centered Approaches to AI, Automation, and Remote Operations,

Se også: New book puts humans at the centre of autonomous and AI-enabled systems