Få hela storyn
Starta din prenumeration

Prenumerera

Upphandling

Upphandlingen viktig för att beslutsrobotar ska gå att lita på

Publicerad: 9 augusti 2021, 08:49

Algoritmstyrda beslutssystem riskerar att rubba tilliten till myndighetsutövning om inte alla som arbetar med systemen förstår hur algoritmerna fungerar, menar forskarna Henrik Artman och Jacob Dexe.

Foto: Privat/skärmavbild/David Lagerlöf

För att utvecklingen av beslutsrobotar ska kunna fortsätta, måste upphandlingarna innehålla krav på att kommunens tjänstepersoner förstår algoritmerna bakom systemen. Annars kan tilliten för myndighetsutövning rubbas, säger forskarna som ska studera hur kommuner och myndigheter ställer sådana krav.


Ämnen i artikeln:

RobotiseringUpphandlingskriterierSocialtjänsten

Intresset för att ta hjälp av automatiserade datasystem och så kallade beslutsrobotar som använder algoritmer är stort bland Sveriges kommuner och myndigheter. Automatiserade processer gör att medborgare kan få snabbare beslut och en kommun kan spara resurser då personalen kan ägna sig åt annat än att granska till exempel ansökningar om ekonomiskt bistånd.

Men det finns också kritik och farhågor som handlar om risken att varken medborgare eller myndigheten förstår hur algoritmerna jobbar.

– Självklart finns det risker. Säg att jag som medborgare har ansökt om ett bidrag av något slag, blir nekad och jag inte förstår grunderna till varför beslutet fattades. Om sedan inte tjänstepersonen kan förklara på ett sätt som medborgaren förstår – då fallerar ju hela grunden för myndighetsutövningen, säger Henrik Artman, professor i människa-dator-interaktion vid KTH. 

LÄS MER: Fack kräver insyn i robotbeslut 

Henrik Artman och Jacob Dexe, industridoktorand på RISE, har beviljats medel från Konkurrensverket för att studera om upphandlande myndigheter ställer krav på att medborgare och tjänstepersoner ska förstå de automatiserade processerna och vad som ligger till grund för besluten. 

– När det kommer till myndighetsbeslut så finns dels en moralisk aspekt men det står också i lagstiftningen att vi ska kunna förklara beslut, särskilt avslag. Man ska även ta hänsyn till GDPR. Det är något som krävs för att vi ska kunna känna oss bekväma med hur beslut tas om oss och för att vi ska kunna lita på dem som tar beslutet, säger Jacob Dexe.

– Skulle det vara så att det inte går att förklara, att algoritmen tar beslut som ser okej ut men man har ingen aning om varför – då kan man inte ha tillit till systemen, säger han. 

De två forskarna menar att det är i upphandlingsskedet det till stor del avgörs i vilken grad en automatiserad beslutsprocess blir förklarbar eller inte. 

– Ja, eftersom man inte gör bygget av systemet själv, utan köper in det. Leverantören gör ju det som står i upphandlingsdokumenten. Om man då inte skrivit in att alla inblandade ska förstå beslutsprocessen så kan leverantören hoppa över det steget, säger Henrik Artman.

Det finns indikationer på att kommuner och myndigheter inte har full förståelse för de koder och algoritmer som hjälper dem att fatta beslut, eller i vissa fall också tar besluten. När Dagens Samhälle exempelvis begärde ut programkoden till Trelleborgs kommuns beslutsrobot som hanterar ekonomiskt bistånd, visade det sig att koden innehöll personuppgifter om invånare i kommunen. 

LÄS MER: Känsliga uppgifter spreds via kod till biståndsrobot

I framtiden kan man tänka sig att algoritmerna får ta sig an allt mer komplicerade ärenden, och att man också vill använda AI och maskininlärning för att kunna hantera mer data och fler typer av ärenden. Utvecklingen på it-området går snabbt, men för att den utvecklingen ska kunna utnyttjas av kommuner och myndigheter måste man se till att medborgarna förstår vad maskinerna gör.

– Att förklarbarheten fungerar är en förutsättning för att vi ska kunna använda AI i större utsträckning på ett hållbart sätt. Jag tror att krav på förklarbarhet i dagsläget inte är en självklarhet i upphandlingar, säger Jacob Dexe.

LÄS MER: Perspektiv: Beslutsalgoritmerna är här för att stanna
LÄS MER: Debatt: Kapitulera inte inför automatiseringen

Åsa Nilsson

Reporter

an@dagenssamhalle.se

Dela artikeln:


Nyhetsbreven som ger dig bäst koll på samhället

Välj nyhetsbrev

Se fler branschtitlar från Bonnier News