Дослідники попереджають: прогнозна поліцейська діяльність може посилити дискримінацію

Дослідники попереджають: прогнозна поліцейська діяльність може посилити дискримінацію, якщо системи сприйматимуть записи про те, де працювали правоохоронці, як достовірну карту місць скоєння злочинів. Про це йдеться в адаптованій BBC версії відзначеного нагородою есе, доповненій новими коментарями дослідників. Основні дослідження поліцейської діяльності, на які вона спирається, опубліковано у 2017 і 2019 роках; вони вказують на ризики, а не вимірюють зростання дискримінації, спричинене нинішньою системою штучного інтелекту в поліції.

Проблема полягає у зворотному зв’язку. Якщо прогноз спрямовує правоохоронців у район, де й без того часто патрулюють, вони можуть зафіксувати там більше інцидентів частково тому, що перебувають на місці й можуть їх побачити. Ці записи можуть вплинути на наступний прогноз. Злочини, про які повідомляють громадяни, і злочини, виявлені під час патрулювання, не обов’язково відображають однакову картину.

У тематичному дослідженні 2017 року про Департамент поліції Лос-Анджелеса соціологиня Сара Брейн задокументувала систему оцінювання ризику на рівні окремих людей: контакт із поліцією підвищував оцінку ризику людини, а вища оцінка могла привернути до неї ще більше уваги правоохоронців. Вона також описала, як вибіркова реєстрація даних могла впливати на прогнози місць скоєння злочинів. Її дослідження не вимірювало, чи посилювали ці прогнози дискримінацію; Брейн назвала вплив стеження на основі даних на нерівність відкритим емпіричним питанням.

В окремому дослідженні 2019 року Рашида Річардсон, Джейсон Шульц і Кейт Кроуфорд розглянули 13 юрисдикцій США, відібраних через перетин прогнозної поліцейської діяльності з документованими розслідуваннями або наглядом за незаконними чи упередженими діями поліції. У дев’яти юрисдикціях записи, створені у відповідні періоди, були доступні для навчання прогностичних систем або використання ними; щодо решти чотирьох дослідники не змогли дійти висновку. Отже, дев’ять із 13 — це не показник для поліції загалом і не доказ того, що кожна система використовувала такі записи. Автори виявили вагоміші свідчення використання цих записів у Чикаго.

У статті BBC також проведено паралель із дослідженням у сфері охорони здоров’я 2019 року. У ньому система, що прогнозувала майбутні витрати на медичну допомогу, присвоювала темношкірим пацієнтам такі самі оцінки ризику, як білим пацієнтам, які в середньому були менш хворими. Дослідники підрахували, що за змодельованого відбору без цієї різниці у стані здоров’я частка темношкірих пацієнтів, автоматично визначених для отримання додаткової підтримки, зросла б із 17,7% до 46,5%. Це не була зафіксована зміна в наданні медичної допомоги, і дослідження не стосувалося поліції. В оригінальному есе ці цифри помилково описали як відсотки темношкірих і білих пацієнтів, які отримували допомогу; в адаптації BBC їх описано як частки за різних сценаріїв відбору.