fbpx

Conteúdo jurídico semanal
para você se manter informado!

EMais

colunistas

Um futuro ancorado no passado: uso de algoritmos e softwares no sistema de justiça criminal norte-americano

O que significa para um algoritmo performando decisões jurídicas ser justo ou injusto? Será que decisões criminais apoiadas em algoritmos são despidas de vieses e falhas cognitivas típicas de juízos humanos?

 

Em coluna anterior, exploramos de que forma o uso de modelos preditivos na persecução penal, por Departamentos de Polícia nos Estados Unidos, acaba por acirrar as disparidades e iniquidades existentes [retroalimentando a seletividade penal].

 

Acontece que o uso de modelos matemáticos preditivos, naquele país, não se restringe à atividade policial e, na esperança de otimizar o processo de tomada de decisões, alastrou-se às mais diversas etapas do Sistema de Justiça Criminal. Por otimizar, entenda-se: garantir maior equidade através da eliminação de preconceitos e vieses, ao mesmo tempo em que se busca garantir a eficiência e redução de custos.

 

Infelizmente, até o momento, a utopia – a busca por equidade – cede em face das tendências eficientistas e gerencialistas. Como resultado de tais tendências, vieses acabaram sendo camuflados pelo uso da tecnologia, conferindo ares de neutralidade matemática a decisões que repetem velhos preconceitos e discriminações. E, o que é mais grave, por serem aparentemente neutros, os resultados alcançados a partir do uso desses algoritmos são inescrutáveis (opacidade).

 

Vinte e quatro estados norte-americanos utilizam modelos matemáticos para cálculo/avaliação de risco de reincidência (chamados de recidivism models ou risk assessments tools). Esses modelos [imbuídos em softwares] pretendem avaliar e apontar se há baixo, médio ou alto risco de reincidência (output), servindo-se, para tanto, de questionários respondidos pelos próprios réus/presos, ou mesmo de informações pescadas do big data (input).

 

Essas classificações/avaliações são usadas para amparar o processo de tomada de decisões no âmbito do Sistema de Justiça Criminal nas mais diversas etapas: desde o sentenciamento até à identificação de presos elegíveis para a progressão de regime ou para serem beneficiados por liberdade provisória.

 

O problema é que as métricas adotadas por esses modelos e os dados que os alimentam (input) evidentemente pesam mais para as comunidades marginalizadas – sobretudo negros e latinos – e menos para acusados privilegiados socialmente.

 

Um dos modelos mais populares, conhecido como LSI-R ou Level of Service Inventory Revised, serve-se de questões gritantemente enviesadas como input, tais como: “qual foi a primeira vez que você se envolveu com a polícia”.

 

Ora, um estudo de 2013 da New York Civil Liberties indicou que embora negros e latinos entre as idades de 14 e 24 anos compusessem à época apenas 4,7% da população da cidade, representaram 40,6% das paradas do tipo stop-and-frisk e, em mais de 90% desses casos, nenhuma conduta ilegal foi identificada. Além disso, há uma enorme quantidade de abordagens e detenções de jovens por crimes ou contravenções insignificantes [v.g. prisão/detenção por estarem bebendo em público ou pelo uso de maconha], ao passo que adolescentes de classes sociais abastadas, mesmo quando praticam as mesmas condutas delitivas, não são selecionados e capturados por esse emaranhado tecnológico repressivo.

 

É fácil enxergar, portanto, que se “envolvimento precoce com a polícia” é considerado fator indicativo de maiores riscos de reincidência, pessoas de classes mais pobres ou minorias raciais são mais facilmente apontados como aqueles com a maior probabilidade de terem posteriores envolvimentos com práticas criminosas, já que estão mais vulneráveis e suscetíveis a serem selecionados pelo Sistema de Justiça Criminal.

 

Na Flórida, a companhia chamada Northpointe criou o Compas, um software de avaliação de risco de reincidência que resultou em irrefutáveis disparidades raciais. O modelo matemático usado pela companhia – que indicava uma escala de 1 a 10 para risco de reincidência – apresentava uma tendência de apontar negros com maior risco de reincidência do que brancos detidos pelos mesmos crimes e em circunstâncias idênticas.

 

Apesar das injustiças e discriminações dos seus resultados (outputs) a companhia, sob a alegação de propriedade intelectual, recusa-se a fornecer maiores informações sobre os algoritmos em que se ampara. O que é sabido é que: “O produto central da Northpointe é um conjunto de indicadores de risco derivados de 137 questões que podem ser tanto respondidas pelos réus/acusados quanto extraídas de seus registros criminais” [esse é o input do sistema].

 

É evidente que a raça acaba sendo um fator indiretamente considerado [o cálculo do risco torna-se um proxy para a raça], embora não esteja prevista expressamente nos questionários. Dentre as 137 questões-centrais que servem de input ao COMPAS, as seguintes são dignas de nota:

 

i. Questões 33-39 sobre prisões prévias de membros da família (mãe, pai ou figuras correlacionadas; irmãos e irmãs, esposo(a) e parceiro ou parceira) ou mesmo amigos/conhecidos, bem como sobre a estrutura familiar (pais divorciados) e sobre eventuais problemas dos pais, da pessoa que tenha sido responsável por sua criação ou mesmo dos amigos e conhecidos com álcool ou uso de entorpecentes;

 

ii. Questões 65-70 sobre a periculosidade do ambiente social no qual o réu viveu nos últimos 3 a 6 meses;

 

iii. Questões 74-76 sobre a educação do réu (suspensões ou expulsões escolares; conflito com professores e situações relacionadas);

 

iv. Questões 88-94 sobre experiências profissionais passadas e aspectos financeiros da vida do réu (dificuldade de encontrar um emprego; falta de dinheiro; problemas no pagamento de contas; engajamento em empregos que não pagam sequer um salário mínimo).

 

A simples leitura dos grupos de questões acima evidencia de que modo afro-americanos e comunidades latinas/hispânicas tornam-se mais vulneráveis a serem avaliados com um alto risco de reincidência.

 

A dissonância entre o ideal de justiça, os princípios que informam o Sistema de Justiça Criminal norte-americano e o uso de tais algoritmos fica escancarado também pelo fato de que muitas das perguntas que compõem o input são típicas de um Direito Penal do Autor – voltadas a punir o autor por quem ele é [nesse caso puni-lo por pertencer a uma dada raça ou etnia], de modo que obviamente refletirão a seletividade e o racismo do sistema penal.

 

A fim de melhor ilustrar o modo de funcionamento de tais softwares, vale mencionar os seguintes casos identificados após uma auditoria dos resultados (outputs) decorrentes do uso de risk assessments e, mais especificamente, do COMPAS, nos EUA.

 

Dylan Fugett e Bernard Parker, ambos presos pelo crime de posse de drogas, receberam avaliações bastante diferentes pelo software de propriedade da Northpointe. Dylan (branco), que tinha registro criminal pela prática de invasão de domicílio, foi avaliado com baixo risco de reincidência (pontuação 3). Já Bernard Parker (negro), cujo único registro criminal envolvia resistência não violenta à prisão, foi categorizado com alto risco de reincidência (pontuação máxima – 10). Dylan foi detido outras 3 vezes por posse de drogas, Bernard nenhuma.

 

 

 

No caso de James Rivelli e Roberto Cannon, ambos detidos pelo crime de subtração de mercadorias (shoplifting), a injustiça é ainda mais gritante. Rivelli (branco), em cujo registro criminal constava uma extensa lista de delitos – violência doméstica, danos físicos a outrem, furto e tráfico de drogas -, foi avaliado como baixo risco de reincidência (pontuação 3). Por outro lado, Cannon (negro), em cujo registro criminal constava apenas a prática anterior de furto, foi avaliado como risco médio de reincidência (pontuação 6). Rivelli foi novamente detido por roubo, Bernard não cometeu qualquer prática criminal posterior.

 

                    (Imagens extraídas de: <<https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing>>).

 

Os graves aspectos discriminatórios das decisões amparadas em algoritmos no Sistema de Justiça Criminal fizeram com que a pesquisadora, matemática e auditora de algoritmos Cathy O’Neil, nas semanas que se seguiram ao homicídio de George Floyd, encabeçasse um manifesto convocando a comunidade de Matemáticos(as) para não mais trabalhar em cooperação com Departamentos de Polícia no desenvolvimento de softwares e algoritmos causadores desses feedback loops discriminatórios. Vale a pena transcrever o seguinte trecho do Manifesto:

 

“We demand that any algorithm with potential high impact face a
public audit. For those who’d like to do more, participating in this
audit process is potentially a proactive way to use mathematical
expertise to prevent abuses of power. We also encourage
mathematicians to work with community groups, oversight
boards, and other organizations dedicated to developing
alternatives to oppressive and racist practices. Examples of data
science organizations to work with include Data 4 Black Lives
(http://d4bl.org/) and Black in AI (https://blackinai.github.io/)”.

 

Nas próximas semanas, exploraremos possíveis medidas a serem pensadas e implementadas em uma tentativa de enfrentar esse ecossistema seletivo e discriminatório forjado – agora pelo uso de algoritmos – no Sistema de Justiça Criminal.

DICA DA SEMANA

Cathy O’Neil é uma matemática norte-americana. Formada na Universidade da California (UC Berkeley), concluiu seu doutorado em Harvard.


Autora de vários livros sobre ciência de dados (Data Science), inclusive do best-seller Weapons of Math Destruction, cuja leitura eu indico, eis que se trata de livro essencial para entender como algoritmos opacos orientam as nossas tomadas de decisões cotidianas.  

Após ser professora na Columbia University, Cathy O’Neil tornou-se uma analista quantitativa (no jargão financeiro uma
quant), mas após a crise financeira de 2008, passou a refletir sobre o papel de matemáticos e estatísticos (sobretudo dos quants) na crise, motivo pelo qual iniciou sua atuação como consultora independente.

Aliás, a partir daquele momento, engajou-se no
Occupy Wall Street, formando o braço do movimento conhecido como Alternative Banking Group – um grupo de gurus das finanças voltados a estudar e propor reformas no sistema financeiro. Mais tarde fundou a Companhia de Consultoria ORCAA, por meio da qual presta serviços de consultoria de riscos na tomada de decisão algorítmica e auditoria de algoritmos.

Na descrição da companhia, afirma-se que o seu principal desígnio é se contrapor à “autoridade do inescrutável”.

Ela também escreve uma 
coluna semanal para o site da Bloomberg, cuja leitura também indico.

Vale, por fim, fazer menção à bio da autora em seu Twitter (
@mathbabedotorg): “I’m interested in algorithmic accountability, civil disagreement, and the social mechanism of shame. Algorithmic auditor at ORCAA”.

COMPARTILHE COM ALGUÉM
Share on whatsapp
WhatsApp
Share on telegram
Telegram
Share on email
Email
Share on facebook
Facebook
Share on twitter
Twitter
Share on linkedin
LinkedIn
Share on whatsapp
Share on telegram
Share on email
Share on facebook
Share on twitter
Share on linkedin
COMENTÁRIOS

Carrinho

0

Nenhum produto no carrinho.

Tecle Enter para pesquisar e Esc para fechar