Nova Ferramenta do MIT Melhora a Verificação das Respostas do Modelo de IA

Pesquisadores do MIT anunciaram recentemente o desenvolvimento do SymGen, uma ferramenta voltada para aprimorar o processo de verificação de respostas geradas por grandes modelos de linguagem (LLMs). Este sistema permite que os usuários rastreiem os dados referenciados pela IA, potencialmente aumentando a confiabilidade de suas saídas.

Os LLMs, apesar de suas capacidades avançadas, muitas vezes produzem informações imprecisas ou sem suporte, um fenômeno conhecido como “alucinação”.

Isso apresenta desafios em campos de alto risco, como saúde e finanças, onde verificadores humanos são frequentemente necessários para validar informações geradas por IA. Métodos tradicionais de verificação podem ser demorados e propensos a erros, pois exigem que os usuários naveguem por documentos extensos, como observado no anúncio.

Isso é particularmente relevante, dado o crescente destaque da IA na medicina. Por exemplo, o NHS recentemente recebeu aprovação para começar a usar a tecnologia de IA para melhorar a detecção de fraturas em raios-X.

SymGen enfrenta esses desafios, permitindo que os LLMs gerem respostas com citações diretas do material de origem, como células específicas em um banco de dados, conforme relatado no comunicado à imprensa do MIT.

Os usuários podem passar o mouse sobre o texto destacado na resposta da IA para acessar rapidamente os dados subjacentes que informaram aquela parte do texto. Este recurso visa ajudar os usuários a identificar quais segmentos da resposta requerem mais verificação.

Shannon Shen, uma estudante de pós-graduação em engenharia elétrica e ciência da computação, e co-autora principal do estudo sobre o SymGen, declarou no comunicado à imprensa: “Oferecemos às pessoas a capacidade de focar seletivamente em partes do texto que precisam ser mais preocupantes.”

Essa capacidade tem a intenção de aumentar a confiança do usuário nos resultados do modelo, permitindo uma análise mais detalhada das informações apresentadas.

O estudo do usuário indicou que o SymGen reduziu o tempo de verificação em cerca de 20% em comparação com os procedimentos padrão. Essa eficiência poderia ser benéfica em vários contextos, incluindo a geração de notas clínicas e a sumarização de relatórios financeiros.

Os sistemas de verificação atuais muitas vezes consideram a geração de citações como um pensamento posterior, o que pode levar a ineficiências. Shen observou que, enquanto a AI generativa se destina a simplificar as tarefas do usuário, os processos de verificação complicados minam sua utilidade.

A ferramenta funciona exigindo que os usuários forneçam dados em um formato estruturado, como uma tabela com estatísticas relevantes. Antes de gerar uma resposta, o modelo cria uma representação simbólica, ligando segmentos de texto aos seus dados de origem.

Por exemplo, ao mencionar o “Portland Trail Blazers”, o modelo cita a célula correspondente na tabela de entrada, permitindo que os usuários rastreiem a origem da informação, conforme observado no comunicado à imprensa.

No entanto, o artigo destaca que a eficácia do SymGen depende da qualidade dos dados de origem. Se o modelo fizer referência a variáveis incorretas, os verificadores humanos podem não detectar esses erros.

Atualmente, o sistema está limitado a dados tabulares, mas a equipe de pesquisa está trabalhando para ampliar suas capacidades para lidar com vários formatos de texto e tipos de dados. Planos futuros incluem testar o SymGen em ambientes clínicos para avaliar seu potencial na identificação de erros em resumos médicos gerados por IA.

Esta pesquisa tem como objetivo contribuir para o esforço contínuo de aprimorar a confiabilidade e responsabilidade das tecnologias de IA à medida que elas se integram cada vez mais a diversos campos.