Ny forskning viser at reell menneskelig kontroll må bygges inn fra starten dersom autonome systemer skal bli både trygge og effektive.

Kunstig intelligens, automatisering og fjernoperasjoner endrer sikkerhetskritiske næringer i et tempo vi aldri har sett tidligere. Samtidig reiser utviklingen et grunnleggende spørsmål: Hvordan sikrer vi at mennesker fortsatt har reell kontroll når autonome systemer møter situasjoner de ikke kan håndtere alene?

Forskerne omtaler dette som Meaningful Human Control, eller reell menneskelig kontroll. Begrepet beskriver mer enn muligheten til å trykke på en nødknapp. Det handler om at mennesker må ha myndighet, situasjonsforståelse, tilstrekkelig tid og nødvendig informasjon til å kunne gripe inn når det virkelig gjelder.

Etter hvert som kunstig intelligens overtar flere oppgaver, blir mennesker mindre involvert i den daglige driften. Samtidig blir de langt viktigere når noe uventet skjer. Da må operatørene raskt forstå situasjonen, vurdere alternativene og ta riktige beslutninger under tidspress.

Dette er hovedbudskapet i boken Safety by Design: Human-Centered Approaches to AI, Automation, and Remote Operations, der blant andre professor Gunhild Birgitte Sætren, seniorforsker Stig Ole Johnsen og doktorgradsstipendiat Jooyoung Park bidrar. Forfatterne argumenterer for at reell menneskelig kontroll ikke oppstår av seg selv etter hvert som teknologien utvikler seg. Den må bygges inn i systemene fra starten av.

Gunhild B. Sætren, professor ved NTNU og leder for Arctic Safety Centre på Svalbard. Hun mener reell menneskelig kontroll må bygges inn i autonome systemer allerede i utviklingsfasen. Foto: Gunhild B. Sætren.

Kontroll må designes

– Vi må sikre at mennesker faktisk beholder kontrollen i en tid preget av kunstig intelligens, automatisering og fjernoperasjoner, sier professor Gunhild B. Sætren, som også leder Arctic Safety Centre på Svalbard.

Hun mener diskusjonen må flyttes fra overordnede prinsipper til hvordan teknologien faktisk utvikles.

– Reell menneskelig kontroll er ikke en symbolsk nødknapp. Operatørene må ha reell myndighet, situasjonsforståelse og mulighet til å gripe inn når det er nødvendig.

Det er derfor ikke tilstrekkelig at et menneske formelt er «i loopen». Operatørene må ha kompetansen, informasjonen og tiden som kreves for å forstå hva som skjer dersom automatiseringen oppfører seg annerledes enn forventet.

Jooyoung Park, doktorgradsstipendiat ved NTNU Shore Control Lab. Hun forsker på hvordan brukergrensesnitt kan støtte operatører i å forstå og håndtere komplekse situasjoner. Foto: Lars Bugge Aarset/Fremtidens Industri.

Brukergrensesnitt kan avgjøre utfallet

Jooyoung Park ved NTNU Shore Control Lab peker på at reell menneskelig kontroll i stor grad avhenger av hvordan informasjon presenteres.

Når mennesker går fra å styre systemene direkte til å overvåke avansert automatisering, må brukergrensesnittene støtte hele beslutningsprosessen, fra å oppdage kritiske signaler til å forstå situasjonen og vurdere hvilke tiltak som er riktige. Operatørene trenger et tydelig situasjonsbilde som gjør det mulig å oppfatte når automatiseringen nærmer seg sine begrensninger.

Stig Ole Johnsen, seniorforsker ved NTNU. Han understreker at menneskelig kontroll ikke kan tas for gitt. Den må være en integrert del av systemdesignet. 

Foto: Lars Bugge Aarset/Fremtidens Industri

Jo mer autonomi, desto viktigere blir mennesket

Et av automatiseringens store paradokser er at mennesker blir mindre involvert i den daglige driften samtidig som de får et større ansvar når noe går galt.

Operatører kan overvåke høyt automatiserte systemer i lange perioder uten å gripe inn. Når en uforutsett situasjon oppstår, forventes de å forstå et komplekst hendelsesforløp og ta riktige beslutninger i løpet av sekunder.

– Utfordringen er at mennesker forventes å gripe inn nettopp når de har vært minst involvert i systemet under normal drift, sier Johnsen.

Økt autonomi reduserer derfor ikke menneskets betydning. Den flytter ansvaret til færre, men langt mer krevende situasjoner. For virksomheter som utvikler AI-baserte og autonome løsninger betyr det at investeringer i teknologi må kombineres med systemer som styrker menneskers evne til å forstå, vurdere og handle når teknologien når sine grenser.

US Airways Flight 1549, nødlandingen på Hudson-elven i 2009 viser hvordan godt systemdesign, opplæring og prosedyrer kan gjøre mennesker i stand til å ta riktige beslutninger under ekstremt press. Foto: Greg L/Wikimedia Commons.

Luftfarten viser hvordan kontroll kan bygges inn

Få bransjer illustrerer betydningen av reell menneskelig kontroll bedre enn luftfarten. Gjennom flere tiår har næringen utviklet et samspill mellom teknologi, opplæring, sertifisering, prosedyrer og sikkerhetskultur som gjør mennesker i stand til å ta riktige beslutninger under ekstremt press.

– Kontroll i komplekse systemer handler ikke om ett enkelt sikkerhetstiltak. Det handler om hvordan teknologi, opplæring og organisasjon fungerer sammen når situasjonen blir kritisk, sier professor Gunhild B. Sætren.

Et av de mest kjente eksemplene er nødlandingen av US Airways Flight 1549 på Hudson-elven i 2009. Da begge motorene sviktet kort tid etter avgang, hadde kaptein Chesley «Sully» Sullenberger og styrmann Jeffrey Skiles bare minutter på seg til å redde flyet.

Den vellykkede nødlandingen skyldtes ikke bare dyktige piloter. Den var også resultatet av gjennomtenkt cockpitdesign, omfattende simulatortrening, gode prosedyrer og forskning på menneskelige faktorer. Systemet var utviklet for å hjelpe mennesker til å lykkes når alt annet sviktet.

Den samme tankegangen bør ligge til grunn når autonome skip, fartøy og andre AI-baserte systemer utvikles. Når teknologien når sine begrensninger, må operatørene raskt kunne forstå situasjonen og ta kontroll. Hvor godt de lykkes, avgjøres lenge før hendelsen oppstår i designfasen.

Jooyoung Park, PhD candidate ved NTNU Shore Control Lab. Foto: Lars Bugge Aarset/Fremtidens Industri

Design er en sikkerhetsfunksjon

Et sentralt budskap i boken er at sikkerhet ikke bare handler om teknologi, men om hvordan mennesker og teknologi fungerer sammen.

Forskning innen Human Factors viser at brukergrensesnitt, alarmsystemer, arbeidsbelastning, automatiseringslogikk og operative prosedyrer påvirker hvordan mennesker oppfatter situasjoner og tar beslutninger. Design er derfor en sikkerhetsfunksjon, ikke bare et spørsmål om brukervennlighet.

– I stedet for at mennesker skal tilpasse seg teknologien, bør teknologien utvikles for å støtte måten mennesker naturlig observerer, tolker og handler på, sier Jooyoung Park.

Johnsen uttrykker det enda tydeligere:

– Systemdesign er ikke nøytralt. Det former menneskelig atferd og beslutningene som følger.

Konsekvensene kan være store. Forskning som omtales i boken viser at mellom 40 og 50 prosent av uønskede hendelser kan knyttes til svakheter i systemdesign, teknologi eller operative prosedyrer, ikke bare til feil begått av enkeltpersoner.

Dette innebærer også et skifte i hvordan ulykker bør analyseres. I stedet for å spørre hvem som gjorde feil, bør organisasjoner undersøke hvordan systemet påvirket beslutningene som ble tatt.

– Menneskelig feil bør være starten på en undersøkelse, ikke konklusjonen, sier Johnsen.

NTNU Shore Control Lab. Forskningsmiljøet ved NTNU utvikler kunnskap om samspillet mellom mennesker og autonome maritime systemer. Foto: Lars Bugge Aarset/Fremtidens Industri.

Læring må bygges inn

Reell menneskelig kontroll kan ikke etableres én gang under utviklingen av et system og deretter tas for gitt. Den må vedlikeholdes gjennom hele systemets levetid.

Det krever at operatører, designere, ingeniører og andre fagmiljøer samarbeider allerede fra starten av utviklingen. Samtidig må erfaringer fra faktisk drift brukes aktivt til å forbedre både teknologi og arbeidsprosesser.

– Læring og kontinuerlig forbedring skjer ikke av seg selv. Det krever kompetanse innen Human Factors, psykologisk trygghet og tydelig ansvarsfordeling, sier Sætren.

Mennesket blir den viktigste sikkerhetsbarrieren

Etter hvert som kunstig intelligens og autonome teknologier overtar stadig flere oppgaver, endres menneskets rolle fra å styre systemene direkte til å overvåke dem og gripe inn når det er nødvendig.

Paradokset er at jo mer avansert teknologien blir, desto viktigere blir menneskets vurderingsevne når noe uventet skjer.

Målet er derfor ikke bare å holde mennesker «i loopen», men å sikre at de har kompetansen, situasjonsforståelsen og myndigheten som kreves for å ta kontroll når teknologien møter sine begrensninger.

Som Stig Ole Johnsen oppsummerer:

– Hvis vi ønsker reell menneskelig kontroll, må vi designe for den fra starten av, ikke håpe at den er der når vi trenger den.

Budskapet fra forskerne er tydelig: Fremtidens sikre autonome systemer avgjøres ikke bare av hvor avansert teknologien er, men av hvor godt den er utviklet for å støtte menneskelige beslutninger. Jo mer ansvar som overlates til kunstig intelligens, desto viktigere blir mennesket når det virkelig gjelder.

Candela P-12 / Frostabåten. Autonome og elektriske fartøy illustrerer hvordan ny teknologi stiller stadig større krav til godt samspill mellom mennesker og automatiserte systemer. Foto: Lars Bugge Aarset/Fremtidens Industri.

Fakta: MIDAS – mennesker i fremtidens maritime operasjoner

Artikkelen bygger på kapittel 2 i boken Safety by Design: Human-Centered Approaches to AI, Automation, and Remote Operations. Boken er utviklet gjennom forskningsprosjektet MIDAS – Humans in Future Maritime Operations, et nasjonalt kompetanseprosjekt som undersøker hvordan mennesker, kunstig intelligens, automatisering og autonomi kan samvirke i fremtidens maritime operasjoner.

Målet er å sikre at ny teknologi utvikles på en måte som ivaretar sikkerhet, brukervennlighet og reell menneskelig kontroll samtidig som den styrker innovasjon og konkurransekraft i norsk maritim industri.

Prosjektet samler forskere, teknologibedrifter og industripartnere fra hele den maritime verdikjeden. Blant partnerne er SINTEF Digital, DNV, Digital Norway, Ocean Autonomy Cluster og Blue Maritime Cluster, som bidrar til å omsette forskning til praktiske løsninger for næringslivet.

Gratis tilgjengelig for industri og akademia

Safety by Design er utgitt av CRC Press og er tilgjengelig som Open Access under Creative Commons-lisensen CC BY 4.0. Det betyr at boken kan lastes ned gratis, deles og brukes i forskning, utdanning, opplæring og industriutvikling, så lenge den opprinnelige kilden oppgis.

Boken retter seg mot teknologiutviklere, operatører, designere, forskere, undervisere, myndigheter og beslutningstakere som arbeider med autonome, fjernstyrte og AI-baserte systemer. Den kombinerer forskning og praktiske erfaringer for å vise hvordan ny teknologi kan utvikles slik at den ikke bare blir mer avansert, men også tryggere og mer brukervennlig.

Se også: New book puts humans at the centre of autonomous and AI-enabled systems