Onderzoekers waarschuwen: voorspellend politiewerk kan discriminatie versterken

Onderzoekers waarschuwen dat voorspellend politiewerk discriminatie kan versterken als systemen gegevens over waar agenten hebben gezocht behandelen als een betrouwbare kaart van waar criminaliteit plaatsvindt. De waarschuwing staat in een bewerking van een bekroond essay door de BBC, met nieuwe opmerkingen van onderzoekers. De belangrijkste studies over politieoptreden verschenen in 2017 en 2019; ze wijzen op risico’s, maar meten geen toename van discriminatie door een huidig AI-systeem van de politie.

De zorg betreft een terugkoppelingseffect. Als een voorspelling agenten naar een gebied stuurt waar al intensief wordt gepatrouilleerd, kunnen ze daar meer incidenten registreren, deels omdat ze er zijn om die te zien. Die gegevens kunnen vervolgens de volgende voorspelling beïnvloeden. Misdrijven die door het publiek worden gemeld en misdrijven die tijdens patrouilles worden ontdekt, hoeven niet hetzelfde patroon te weerspiegelen.

In een casestudy uit 2017 over de politie van Los Angeles documenteerde socioloog Sarah Brayne een systeem dat risico’s per persoon beoordeelde. Politiecontact verhoogde iemands risicoscore, terwijl een hogere score kon leiden tot meer aandacht van de politie. Ze beschreef ook hoe selectieve registratie voorspellingen over de locaties van criminaliteit kon beïnvloeden. Haar onderzoek mat niet of die locatievoorspellingen discriminatie deden toenemen; ze noemde het effect van datagestuurd toezicht op ongelijkheid een open empirische vraag.

Een afzonderlijke studie uit 2019 van Rashida Richardson, Jason Schultz en Kate Crawford onderzocht 13 Amerikaanse rechtsgebieden die waren geselecteerd omdat voorspellend politiewerk daar samenviel met gedocumenteerde onderzoeken naar of toezicht op onwettige of bevooroordeelde politiepraktijken. In negen daarvan waren gegevens uit de betreffende perioden beschikbaar om voorspellende systemen te trainen of te informeren; voor de andere vier konden de onderzoekers geen conclusie trekken. Negen van de 13 is daarom geen percentage voor politiekorpsen in het algemeen en bewijst evenmin dat elk systeem die gegevens gebruikte. De auteurs vonden sterker bewijs voor het gebruik ervan in Chicago.

Het BBC-artikel trekt ook een parallel met een zorgstudie uit 2019. Daar kende een systeem dat toekomstige zorgkosten voorspelde zwarte patiënten dezelfde risicoscores toe als witte patiënten die gemiddeld minder ziek waren. De onderzoekers berekenden dat het aandeel zwarte patiënten onder degenen die automatisch voor extra ondersteuning zouden worden geselecteerd, zou stijgen van 17,7% naar 46,5% bij een gesimuleerde selectie zonder die gezondheidskloof. Dat was geen waargenomen verandering in de zorg, en de studie ging niet over politiewerk. In het oorspronkelijke essay werden de cijfers ten onrechte omschreven als percentages zwarte en witte patiënten die hulp kregen; de BBC-bewerking beschrijft ze als aandelen in verschillende selectiescenario’s.