Caso Emblemático Desafia a IA na Habitação

Em um caso emblemático que destaca os potenciais danos da tomada de decisões por IA no setor imobiliário, a SafeRent, uma empresa de triagem de inquilinos alimentada por IA, concordou em pagar uma indenização de $2.3 milhões e interromper seu sistema de pontuação.

O processo, movido pelas inquilinas Mary Louis e Monica Douglas, alegou que o algoritmo usado pela SafeRent discriminava desproporcionalmente inquilinos negros e hispânicos que dependiam de vouchers de moradia, violando a Lei de Habitação Justa, conforme relatado inicialmente pelo The Guardian.

Mary Louis, uma segurança em Massachusetts, estava entre mais de 400 inquilinos afetados pelo controverso sistema da SafeRent. Apesar de receber uma excelente referência de seu proprietário de 17 anos e usar um voucher de habitação de baixa renda que garantia o pagamento parcial do aluguel, sua candidatura foi rejeitada.

A rejeição ocorreu depois que a SafeRent atribuiu a ela uma pontuação de 324, bem abaixo do requisito mínimo da empresa de gestão de 443. Nenhuma explicação para a pontuação ou processo de recurso foi fornecida, conforme relatado pelo The Guardian.

O processo, aberto em 2022, acusou a SafeRent de usar um sistema de pontuação opaco que levava em consideração dados financeiros irrelevantes, como dívidas de cartão de crédito, enquanto ignorava os pagamentos garantidos por vouchers de moradia, segundo o The Guardian.

Estudos mostram que inquilinos negros e hispânicos têm maior probabilidade de ter pontuações de crédito mais baixas e depender de vouchers do que candidatos brancos, agravando as desigualdades existentes, conforme relatado pelo National Consumer Law Center.

Louis descreveu sua frustração com a falta de contexto do algoritmo. “Eu sabia que meu crédito não era bom. Mas a IA não conhece meu comportamento – sabia que eu estava atrasada no pagamento do meu cartão de crédito, mas não sabia que eu sempre pago meu aluguel”, disse ela ao The Guardian.

O acordo, aprovado em 20 de novembro, é notável não apenas por seu componente financeiro, mas também por exigir mudanças operacionais.

A SafeRent não pode mais utilizar um sistema de pontuação ou recomendar decisões de arrendamento para candidatos que usam vouchers de moradia sem a validação independente de uma organização de habitação justa de terceiros. Tais ajustes são raros em acordos envolvendo empresas de tecnologia, que normalmente evitam alterar produtos principais, observou The Guardian.

“Remover a determinação de aprovação ou reprovação realmente permite que o inquilino diga: ‘Eu sou um ótimo inquilino’”, disse Todd Kaplan, um advogado que representa os demandantes, conforme relatado pelo The Guardian.

O caso destaca as crescentes preocupações sobre o uso da IA em aspectos fundamentais da vida, incluindo moradia, emprego e saúde.

Uma pesquisa de Consumer Reports 2024 revelou um desconforto generalizado com a tomada de decisões algorítmicas, particularmente em áreas de alto risco. Críticos argumentam que esses sistemas muitas vezes se baseiam em suposições estatísticas falhas, levando a resultados discriminatórios.

Kevin de Liban, especialista jurídico em danos de IA, observou que as empresas têm pouco incentivo para criar sistemas equitativos para indivíduos de baixa renda. “As forças do mercado não funcionam quando se trata de pessoas pobres”, disse ele, enfatizando a necessidade de regulamentações mais fortes, conforme relatado pelo The Guardian.

“Na medida em que este é um caso emblemático, tem o potencial de fornecer um roteiro de como olhar para esses casos e incentivar outros desafios”, disse Kaplan, embora especialistas alertem que apenas ações judiciais não podem manter as empresas responsáveis, conforme relatado pelo The Guardian.

Para inquilinos como Louis, no entanto, o acordo representa uma vitória arduamente conquistada, abrindo caminho para um tratamento mais justo daqueles que dependem de programas de assistência habitacional.