Klassekampen.no
Onsdag 7. desember 2016
Illustrasjon: Knut Løvås, knutlvas@gmail.com
Hva skjer når algoritmer bestemmer om straffedømte skal slippes fri?
Fanget i matten

I 2014 kunne man lese i nyhetene at selskapet Deep Knowledge Ventures hadde oppnevnt en datamaskinstyrt algoritme – som de hadde gitt navnet Vital – til å sitte i sitt styre. Algoritmen skulle være med å bestemme hvilke investeringer venture-selskapet skulle gjøre. Mens kollegaene ville benytte en blanding av data, intuisjon og iblant la seg overbevise av andre kollegaers resonnementer, ville Vital utelukkende forholde seg til digital informasjon tilgjengelig, og bruke algoritmen til å ta beslutningene.

Algoritmene har vel en uklar og en slags mytisk betydning for mange, men de er ganske enkelt oppskrifter som gir en fullstendig regelbasert måte å løse et problem eller ta en beslutning på. Derfor passer de for maskiner. Om det kan skrives ned som et fullstendig system av logiske konsekvenser, så kan en maskin gå gjennom stegene i oppskriften fortere og mere presist enn et menneske.

Cathy O’Neils nye bok «Weapons of Math Destruction» handler om hvordan vi stoler mer og mer på slike matematiske modeller, og hvorfor det er en fare for vårt samtidige og framtidige samfunn. Hun tar for seg hvordan matematiske modeller er grunnlaget for beslutninger som tas i viktige spørsmål som hvilke lærere som skal beholde jobben, hvem som skal få ett banklån og hvor lenge folk skal sitte i fengsel. Modellen vekter informasjon på forskjellige variabler og gir en oppsummert anbefaling i form av en rangering, en karakter eller rett slett et svar på om banklånet eller forsikringssøknaden er «innvilget» eller «ikke innvilget».

En av hovedgrunnene til at vi bør være bekymret for denne trenden er at det ofte er uklart, noen ganger til og med hemmelig, hva slags informasjon som går inn i modellene. De bruker informasjon som vi ville avvist om den hadde blitt vurdert i en rettssal eller i en personlig konsultasjon, men fordi variablene inngår i algoritmen lar vi det passere. O’Neil har analysert hvordan dommere i USA får anbefalinger om hvorvidt fanger skal slippes ut av fengsel eller ikke. De bruker modeller som gir dommeren en score på hvor stor sannsynligheten er for at fangene har et tilbakefall – eller altså om de kommer til å begå kriminalitet igjen. Algoritmen bruker informasjon som hvorvidt området de bor i har mye kriminalitet – som igjen er målt som totall antall politisaker i ett område. Vi vet at politiet i USA har langt høyere sannsynlighet til å lage politisaker av småkriminalitet – som offentlig urinering, drikking eller bruk av narkotika – i fattige nabolag enn de har i rike. Variablene tilsier altså at de som kommer fra fattige nabolag, altså bør få lengre fengselsstraffer enn de som kommer fra hvite, rike nabolag.

I boka diskuterer O’Neil også hvordan negative tilbakekoblinger er bygd inn her. La oss for eksempel anta at det er slik at om du sitter lenger i fengsel, så gir det i seg sjøl en lavere sjanse for at man kommer til å komme på rett kjøl igjen etter fengselsoppholdet. Om det stemmer, så vil det være slik at modellen får mer og mer rett – fattige folk sitter lenger i fengsel, og derfor øker sjansen for at de går tilbake til kriminalitet etter endt soning.

Ett av hovedmantraene til Big Data er at vi ikke lenger trenger å bekymre oss for kausalitet – med så mange variabler og observasjoner er man ikke interessert i grunnleggende årsakssammenhenger – men at det holder med prediksjon. Altså: Glem å forstå hvorfor noe skjer. Fokuser heller på å gjette hva som vil skje.

Det kan kanskje fungere for Amazon eller Netflix som bare skal prøve å gjette hva jeg vil kjøpe i morgen, men det blir fundamentalt urettferdig når det blir satt i system for å ta viktige beslutninger som om mennesker slippes inn eller ut.

Modellen er nøyaktig i den forstand at den har en høy sannsynlighet for å gjette riktig for en gruppe mennesker, men den er helt unøyaktig når det gjelder personlig nivå. Der gir modellen faktisk individet ansvaret og skylden for hvor man er født eller hva slags navn man har, og anbefaler straff på det grunnlaget. Det hadde vært absurd om en advokat hadde lagt fram dette som et argument i en rettssak – «Denne mannen er fattig, derfor bør han sitte lenger i fengsel» – men fordi det er basert på en algoritme som har høy presisjon, framstår denne slags fordommer plutselig som vitenskapelige og uangripelige.

mortenjerven@gmail.com

Økonomene Morten Jerven, Erik S. Reinert, Marianne Marthinsen, Rune Skarstein, Camilla Øvald og Chr. Anton Smedhaug skriver onsdager i Klassekampen.

Artikkelen er oppdatert: 2. januar 2017 kl. 13.54

Klassekampen benytter informasjons­kapsler (cookies) så vi kan gi deg bedre service, og for å holde styr på om du er logget inn på våre tjenester. Du kan lese mer om vår bruk av informasjons­kapsler her.

Lukk