A IA Pode Avaliar Literatura Científica?

A IA está avançando no campo da síntese de pesquisa, mas os especialistas estão divididos quanto à sua capacidade de analisar e resumir completamente o vasto universo da literatura científica, conforme relatado na quarta-feira em uma revisão de literatura publicada na Nature.

O artigo de Helen Pearson explora como essa tecnologia parece ter um imenso potencial para otimizar as revisões científicas, mas ainda há desafios significativos a serem superados.

Sam Rodriques, ex-estudante de neurobiologia e diretor da startup americana FutureHouse, está entre aqueles que defendem o uso da IA para abordar a literatura científica, conforme relatado na Nature.

Em setembro, sua equipe lançou um sistema baseado em IA que, em questão de minutos, criou resumos sobre milhares de genes humanos, preenchendo detalhes que anteriormente não foram registrados.

Esta ferramenta, chamada PaperQA2, mostrou-se promissora na geração de resumos que, às vezes, superam o conteúdo escrito por humanos em termos de precisão, de acordo com testes iniciais, conforme relatado na Nature.

O apelo da IA para revisão de literatura é claro. Revisões de pesquisa tradicionais, muitas vezes longas e demoradas, podem levar anos para serem concluídas e correm o risco de estarem desatualizadas no momento em que são publicadas.

A IA, particularmente os grandes modelos de linguagem (LLMs) como o ChatGPT, oferece a possibilidade de compilar rapidamente dados e resumir informações de vastos bancos de dados, aliviando o fardo sobre os pesquisadores, como notado na revista Nature.

Apesar desses avanços, as revisões baseadas em IA estão longe de substituir totalmente as revisões sistemáticas conduzidas por humanos, que envolvem critérios rigorosos para avaliação de estudos e síntese de resultados, observa Pearson.

Ferramentas como Consensus e Elicit, motores de busca alimentados por IA, permitem que os pesquisadores filtrem e resumam artigos acadêmicos, fornecendo uma primeira camada de insights.

No entanto, eles são limitados em sua capacidade de conduzir revisões completas e de padrão ouro. Paul Glasziou, especialista em revisões sistemáticas na Bond University, sugere que a automação completa dessas revisões ainda pode estar a décadas de distância, conforme relatado por Pearson.

O artigo explica como as limitações da IA geram preocupações sobre precisão e transparência. Os LLMs, por exemplo, podem gerar conteúdo que não possui contexto ou que distorce dados, muitas vezes recorrendo a fontes não confiáveis sem avaliar a qualidade da informação.

Além disso, eles estão propensos a cometer erros de “alucinação” – criando referências ou pontos de dados que não existem.

Para mitigar isso, alguns sistemas permitem que os usuários façam o upload de artigos específicos para um LLM, que pode então basear sua análise apenas nas fontes carregadas, reduzindo as imprecisões, mas não eliminando-as completamente, diz Pearson.

Críticos alertam que a IA poderia inundar o cenário científico com resumos de baixa qualidade ou até mesmo enganosos. James Thomas do University College London adverte que revisões mal executadas poderiam minar anos de práticas baseadas em evidências, conforme observado na Nature.

No final das contas, embora a IA ofereça uma ferramenta promissora para acelerar o processo de revisão, os especialistas enfatizam a necessidade de uma supervisão rigorosa e transparência se realmente for para aprimorar o entendimento científico.