Viés na IA de Detecção de Fraude em Bem-Estar no Reino Unido Desperta Preocupações Sobre a Justiça

O sistema de inteligência artificial do governo do Reino Unido para detectar fraudes no bem-estar social foi constatado que apresenta preconceitos baseados em idade, deficiência, estado civil e nacionalidade, de acordo com avaliações internas, como relatado hoje pelo The Guardian.

O sistema, usado para avaliar pedidos de crédito universal em toda a Inglaterra, sinaliza desproporcionalmente certos grupos para investigação, aumentando os temores de discriminação sistêmica, disse The Guardian.

O viés, descrito como uma “disparidade de resultados estatisticamente significativa”, foi revelado em uma análise de justiça conduzida pelo Departamento de Trabalho e Pensões (DWP) em fevereiro.

A análise constatou que o programa de aprendizado de máquina selecionou pessoas de alguns grupos demográficos mais frequentemente do que outros ao determinar quem deveria ser investigado por possível fraude, informa o The Guardian.

Esta revelação contrasta com as afirmações anteriores do DWP de que o sistema de IA não apresentava riscos imediatos de discriminação ou tratamento injusto.

O departamento defendeu o sistema, enfatizando que as decisões finais são tomadas por assistentes sociais humanos e argumentando que a ferramenta é “razoável e proporcional” dado o custo anual estimado de £8 bilhões em fraudes e erros no sistema de benefícios, conforme relatado pelo The Guardian.

No entanto, a análise não explorou possíveis vieses relacionados à raça, gênero, religião, orientação sexual ou gravidez, deixando lacunas significativas na compreensão da equidade do sistema.

Críticos, incluindo o Public Law Project, acusam o governo de adotar uma abordagem de “ferir primeiro, consertar depois”, pedindo maior transparência e proteção contra a mira em grupos marginalizados, conforme relatado pelo The Guardian.

“É claro que em uma vasta maioria dos casos, o DWP não avaliou se seus processos automatizados corriam o risco de visar injustamente grupos marginalizados”, disse Caroline Selman, bolsista sênior de pesquisa no Public Law Project, conforme relatado pelo The Guardian.

As descobertas surgem em meio a um crescente escrutínio do uso de IA em serviços públicos. Relatórios independentes sugerem que pelo menos 55 ferramentas automatizadas estão em operação em autoridades públicas do Reino Unido, afetando potencialmente decisões para milhões, diz The Guardian.

No entanto, o registro oficial de IA do governo lista apenas nove sistemas, revelando uma falha significativa na responsabilidade, diz The Guardian.

Além disso, o governo do Reino Unido está enfrentando críticas por não registrar o uso de IA no registro obrigatório, despertando preocupações sobre transparência e responsabilidade à medida que a adoção de IA cresce.

O DWP ocultou detalhes críticos de sua análise de equidade, incluindo quais grupos etários ou nacionalidades foram sinalizados de maneira desproporcional. Os oficiais argumentaram que revelar tais especificidades poderia permitir que fraudadores manipulassem o sistema, observou The Guardian.

Um porta-voz do DWP enfatizou que o julgamento humano continua sendo central para a tomada de decisões, conforme relatado por The Guardian. As revelações aumentam as preocupações gerais sobre a transparência do governo ao implementar a IA, com críticos pedindo uma supervisão mais rigorosa e salvaguardas robustas para evitar o uso indevido.