Pesquisadores Revelam que Modelos de IA Demonstram Viés Racial e Socioeconômico em Conselhos Médicos

Um novo estudo publicado na Nature Medicine nesta segunda-feira revela que modelos de IA mostram preconceito racial e socioeconômico nas recomendações médicas quando diferentes rótulos sociodemográficos sobre o paciente são fornecidos.

A pesquisa, Vieses sociodemográficos na tomada de decisões médicas por grandes modelos de linguagem, foi conduzida por vários especialistas de diferentes instituições e liderada pelo Departamento de Genética e Ciências Genômicas da Escola de Medicina Icahn no Mount Sinai em Nova York.

Os pesquisadores consideraram 9 Grandes Modelos de Linguagem (LLMs) – proprietários e de código aberto – e analisaram mais de 1,7 milhão de resultados provenientes de 1.000 casos de departamentos de emergência – metade desses reais e a outra metade fictícia – incluindo 32 variações.

O resumo do estudo afirma:

LLMs mostram promessa na área de saúde, mas ainda há preocupações de que eles possam produzir recomendações de cuidados clínicos medicamente injustificadas, refletindo a influência das características sociodemográficas dos pacientes.

Nas variações, os pesquisadores incluíram identificadores sociodemográficos e raciais, revelando que os resultados tiveram uma forte influência nesses. Por exemplo, casos com a tag do subgrupo LGBTQIA+ ou identificados como pacientes negros foram sugeridos para receber mais análises de saúde mental, receber tratamentos mais invasivos e foram recomendados com mais frequência para visitar uma emergência médica.

Os pesquisadores escreveram:

Casos rotulados como de alta renda receberam significativamente mais recomendações (P < 0.001) para exames de imagem avançados, como tomografia computadorizada e ressonância magnética, enquanto casos rotulados como de baixa e média renda muitas vezes se limitavam a testes básicos ou nenhum teste adicional.

Os pesquisadores afirmaram que o comportamento não era suportado por diretrizes clínicas ou raciocínio e alertaram que o viés poderia levar a disparidades de saúde. Os especialistas observam que são necessárias mais estratégias para mitigar o viés e que os LLMs devem se concentrar nos pacientes e permanecer equitativos.

Várias instituições e organizações manifestaram preocupações sobre o uso de IA e a proteção de dados no campo médico nos últimos dias. Alguns dias atrás, o openSNP anunciou seu encerramento devido a preocupações com a privacidade dos dados, e outro estudo destacou a falta de educação em IA entre os profissionais médicos.