Des chercheurs alertent sur le risque que la police prédictive renforce les discriminations

Des chercheurs ont alerté sur le risque que la police prédictive renforce les discriminations si les systèmes considèrent les archives des lieux où les policiers sont intervenus comme une carte fiable des endroits où se produisent les crimes. Cette mise en garde figure dans une adaptation de la BBC d’un essai primé, accompagnée de nouveaux commentaires de chercheurs. Les principales études sur la police citées ont été publiées en 2017 et 2019 ; elles mettent en évidence des risques, plutôt qu’elles ne mesurent une hausse des discriminations causée par un système d’IA policier actuel.

La crainte porte sur un cercle vicieux. Si une prévision envoie des policiers dans un secteur déjà fortement surveillé, ils peuvent y consigner davantage d’incidents, en partie parce qu’ils sont présents pour les constater. Ces archives peuvent ensuite influer sur la prévision suivante. Les crimes signalés par le public et ceux détectés lors des patrouilles ne reflètent pas nécessairement les mêmes tendances.

Dans une étude de cas publiée en 2017 sur le département de police de Los Angeles, la sociologue Sarah Brayne a décrit un système de notation fondé sur les personnes, dans lequel un contact avec la police augmentait le score de risque d’une personne, tandis qu’un score plus élevé pouvait attirer davantage l’attention de la police. Elle a également expliqué comment la consignation sélective des faits pouvait influer sur les prévisions des lieux où se produisent les crimes. Ses recherches n’ont pas mesuré si ces prévisions géographiques avaient accru les discriminations ; elle a qualifié d’« question empirique encore ouverte » l’effet de la surveillance fondée sur les données sur les inégalités.

Une étude distincte publiée en 2019 par Rashida Richardson, Jason Schultz et Kate Crawford a examiné 13 juridictions américaines sélectionnées parce que la police prédictive y recoupait des enquêtes ou des procédures de contrôle documentées portant sur des pratiques policières illégales ou partiales. Dans neuf d’entre elles, les archives produites pendant les périodes concernées étaient disponibles pour entraîner ou alimenter des systèmes prédictifs ; les chercheurs n’ont pas pu parvenir à une conclusion pour les quatre autres. Neuf sur 13 ne constitue donc pas un taux applicable aux forces de police en général, ni la preuve que tous les systèmes ont utilisé ces archives. Les auteurs ont trouvé des éléments plus solides attestant de leur utilisation à Chicago.

L’article de la BBC établit également un parallèle avec une étude sur les soins de santé publiée en 2019. Dans cette étude, un système prédisant les futurs coûts de soins attribuait aux patients noirs les mêmes scores de risque qu’aux patients blancs, qui étaient en moyenne moins malades. Les chercheurs ont calculé que, dans un scénario simulé de sélection sans cet écart de santé, la part des patients noirs automatiquement repérés pour bénéficier d’un soutien supplémentaire passerait de 17,7 % à 46,5 %. Il ne s’agissait pas d’une évolution observée dans les soins, et l’étude ne portait pas sur la police. L’essai original décrivait à tort ces chiffres comme les pourcentages de patients noirs et blancs ayant reçu de l’aide ; l’adaptation de la BBC les présente comme des parts correspondant à différents scénarios de sélection.