Chatbot de IA supera médicos em teste, mas não melhora o desempenho diagnóstico

Um ensaio clínico descobriu que, embora um chatbot de IA tenha superado os médicos em precisão diagnóstica, ele não melhorou o desempenho quando usado em conjunto com recursos convencionais, destacando a necessidade de uma melhor integração da IA na saúde.

The Times relatou no domingo sobre um recente ensaio clínico investigando o impacto de um chatbot de modelo de linguagem grande (LLM) comercialmente disponível no raciocínio diagnóstico do médico.

O estudo revelou que, embora a ferramenta de IA tenha superado os médicos, ela não melhorou o desempenho diagnóstico quando usada juntamente com recursos convencionais.

Esse achado destaca a necessidade de uma melhor integração da IA na prática clínica, especialmente porque muitos sistemas de saúde agora oferecem chatbots movidos a IA sem treinamento substancial para os médicos.

O ensaio randomizado descobriu que, enquanto o chatbot superou ambos os grupos de médicos humanos – aqueles com e sem acesso à ferramenta – os médicos que usavam o chatbot tiveram um desempenho apenas ligeiramente melhor do que aqueles sem ele.

O estudo não mostrou nenhuma vantagem significativa de tempo ao usar o LLM, sugerindo que a mera presença de uma ferramenta de IA em ambientes clínicos pode não melhorar o processo diagnóstico geral. Um resultado inesperado foi o desempenho superior do LLM, com uma precisão diagnóstica média de 90% em comparação com 74-76% para os médicos.

As pesquisadoras argumentam que isso destaca a importância de prompts bem elaborados ao interagir com LLMs, com especialistas sugerindo que treinar médicos nas melhores práticas de prompts pode aprimorar o uso da ferramenta.

O artigo defende que as organizações de saúde poderiam investir em prompts pré-definidos para ajudar a preencher a lacuna entre as ferramentas de IA e a experiência dos médicos.

Embora a IA tenha o potencial de ser uma valiosa “extensão do médico”, oferecendo segundas opiniões e auxiliando na tomada de decisões complexas, os autores do estudo alertam contra o uso da IA para diagnósticos autônomos.

O estudo se concentrou em vinhetas clínicas curadas por clínicos humanos, mas diagnósticos do mundo real envolvem fatores mais complexos, incluindo interação com o paciente e coleta de dados.

A IA deve ser vista como uma ajuda aos médicos, e não como uma substituição, principalmente porque a falta de compreensão contextual e inteligência emocional do chatbot limita sua aplicabilidade em diversos cenários clínicos.

O estudo também introduziu uma nova ferramenta estruturada de reflexão para avaliar o raciocínio clínico, proporcionando uma avaliação mais matizada das habilidades diagnósticas. A ferramenta mostrou um acordo substancial entre os avaliadores, avançando ainda mais nas avaliações de raciocínio diagnóstico na pesquisa em IA.

Apesar dos resultados promissores de estudos iniciais sobre a capacidade da IA de coletar e resumir dados de pacientes, especialistas argumentam que mais pesquisas são necessárias antes que a IA possa ser totalmente integrada aos processos de tomada de decisão clínica.

Essa questão é importante de ser abordada, pois a IA continua a ganhar um espaço cada vez maior na área da saúde. Por exemplo, o NHS anunciou recentemente o uso de IA para o diagnóstico precoce de câncer e a detecção de fraturas. Além disso, o Fórum Econômico Mundial sugeriu recentemente que a IA poderia ajudar a enfrentar a crise global de saúde mental.

Em última análise, melhorar o papel da IA na saúde exigirá um design de interação humano-computador mais deliberado e um entendimento dos diversos desafios enfrentados em ambientes clínicos.