Как выяснилось, только 20% подозреваемых, по которым программа определила высокий риск совершения преступлений, действительно совершили его в течение двух лет после выставления риска. Даже если учитывать мелкие нарушения вроде выхода за периметр домашнего ареста, «точность работы программы чуть больше, чем подбрасывание монетки».
Но самое ужасное, что программа проявляет расовую дискриминацию. Показатели оценки риска для афроамериканцев гораздо выше, чем для белых преступников. Ошибочное предсказание рецидива для чернокожих вдвое выше, чем для белых.
Показатель оценки риска для афроамериканцев (1 — минимальный, 10 — максимальный)
Показатель оценки риска для белых (1 — минимальный, 10 — максимальный)
Исследователи делают вывод, что программа нарушает закон, специально учитывая фактор цвета кожи как один из параметров для определения вероятности преступления в будущем.
Компания Northpointe уверяет, что раса подозреваемого ни в коем случае не учитывается при анализе. Но учитываются другие факторы, которые сильно коррелируют с расой: уровень образования, статус занятости, криминальная история родственников, приём запрещённых наркотиков друзьями/знакомыми и т.д. Вес каждого фактора в итоговой оценке засекречен — это проприетарный алгоритм компании Northpointe.