Vrouwe Compas zit er nogal eens naast (afb: MIT)

Het is altijd leuk om te horen als er iets mis gaat. Geen mooier vermaak dan leedvermaak. In Amerika, land van de dapperen, gebruiken ze computerprogramma’s om het risico te voorspellen of mensen die op borgtocht worden vrijgelaten weer in de fout zullen gaan. Het bleek dat dat programma niet beter scoorde dan mensen die geen enkele strafrechtervaring hadden en alleen maar de naam, leeftijd, geslacht en misdaadgeschiedenis van de persoon in voorarrest te horen kregen.

Het algoritme, Compas genaamd, wordt gebruikt in de hele VS om de kans op recidive in te schatten van mensen die op borgtocht worden vrijgelaten. Dat programma is 1998 ontwikkeld en zou al bij meer dan een miljoen gevallen zijn gebruikt. Nieuw onderzoek heeft nu twijfel gezaaid over de bruikbaarheid van Compas.
De analyse van Hany Farid en Julia Dressel komt in een periode dat opsporingsdiensten over de hele wereld zich steeds meer verlaten op computers bij het inschatten van de kans op recidive of het bepalen van misdaadhaarden. In de East Midlands in het Verenigd Koninkrijk oefent de politie met een programma dat Valcri heet, een EU-project nota bene. Dat programma moet redelijke ideeën produceren over hoe, wanneer en waarom een misdaad is begaan en ook wie de dader(s) zou(den) zijn. De politie in Kent gebruikt sedert 2013 een programma dat misdaden zou moeten voorspellen, PredPol geheten. Er zijn zorgen dat deze ‘hulpmiddelen’ de vooroordelen bij de politie, die toch al vrij sterk aanwezig zijn, nog verder versterken.
Farid en Dressel vergeleken de mogelijkheden van het programma, dat 137 parameters hanteert voor elke persoon, met die van de lekenbeoordelaars, die via Amazon waren aangeworven. De onderzoekers gebruikten gegevens van ruim 7000 mensen die in voorarrest zaten in het Browarddistrict in Florida. Daarvan hadden ze niet alleen de leeftijd, geslacht, en misdaadgeschiedenis maar ook het politiedossier van de twee jaar die volgde op de voorhechtenis.

Leken

De leken kregen de leeftijd, het geslacht en de misdaadgeschiedenis van de mensen in voorarrest en werd gevraagd of ze dachten dat ze weer in de fout zouden gaan. Dat is veel minder informatie dan Compas had (137 variabelen tegen 7). De Amazon-leken hadden het 67% van de keren bij het rechte eind, Compas 65%.
De onderzoekers ontdekten ook dat Compas net zo (on)nauwkeurig was als het programma alleen maar de leeftijd en het aantal veroordelingen van de verdachten kende. Farid: “Eigenlijk zijn maar twee dingen belangrijk voor het programma: de leeftijd en eerdere veroordelingen. Als je jong bent en bent al een paar keer veroordeeld dan ben je een hoog risico. Als we het gordijn rond dit algoritme weghalen dan is dat allesbehalve idrukwekkend. Ik wil niet zeggen dat we het niet moeten gebruiken, maar rechters, rechtbanken en officieren van justitie zouden moeten begrijpen wat daar achter steekt.”
Dat lijkt mij een tamelijk naïeve uitspraak. Veel mensen, die bij de gerechtelijke macht niet uitgezonderd, hebben een groot vertrouwen in de ‘uitspraak’ van een computer. De vraag is natuurlijk waarom je een hulpmiddel zou gebruiken dat niet beter scoort dan een voorbijganger die je van straat plukt.

Volgens Farid zouden dergelijk programma’s vooroordelen kunnen versterken, zoals anderen al vreesden en de Amerikaanse burgerrechtenorganisatie Pro Publica al aannemelijk maakte. Zo gaf Compas bij zwarte verdachten meer vals positieve uitslagen dan bij blanke.

Bron: the Guardian