Pesquisadores do MIT Desenvolvem “ContextCite” para Verificar Conteúdo Gerado por IA

Pesquisadores do Laboratório de Ciência da Computação e Inteligência Artificial do MIT (CSAIL) anunciaram o ContextCite, uma ferramenta voltada para aprimorar a confiabilidade do conteúdo gerado por IA.

Ao rastrear as fontes em que os sistemas de IA se baseiam e identificar as origens de possíveis erros, o ContextCite oferece uma nova maneira de avaliar a confiabilidade de grandes modelos de linguagem (LLMs).

Os sistemas de IA frequentemente geram respostas usando fontes externas, mas eles também podem produzir erros ou fabricar informações completamente. ContextCite aborda isso destacando as partes exatas de uma fonte que influenciaram a resposta de uma IA.

Por exemplo, se um assistente alega incorretamente que um modelo tem 1 trilhão de parâmetros baseado em um contexto mal interpretado, ContextCite ajuda a identificar a frase específica que contribuiu para o erro.

Ben Cohen-Wang, estudante de doutorado do MIT e pesquisador principal, explica em um comunicado de imprensa do MIT: “Assistentes de IA podem ser muito úteis para sintetizar informações, mas ainda cometem erros.”

“Assistentes de IA existentes frequentemente fornecem links de fontes, mas os usuários teriam que revisar o artigo de forma tediosa para identificar qualquer erro. ContextCite pode ajudar a encontrar diretamente a frase específica que um modelo usou, facilitando a verificação de afirmações e a detecção de erros”, acrescentou.

A ferramenta utiliza “ablações de contexto”, um método em que partes do contexto externo são sistematicamente removidas para determinar quais seções foram críticas para a resposta da IA. Esta abordagem permite que os pesquisadores identifiquem eficientemente o material de origem mais relevante sem uma análise exaustiva.

ContextCite tem aplicações mais amplas, incluindo a melhoria da precisão da resposta, removendo informações irrelevantes e detectando “ataques de envenenamento”. Tais ataques envolvem a incorporação de declarações enganosas em fontes que parecem confiáveis para manipular as saídas da IA.

A ferramenta consegue rastrear respostas errôneas até suas origens, potencialmente mitigando a propagação de desinformação.

Apesar de seu potencial, os pesquisadores afirmam que o ContextCite tem limitações. O sistema atual requer múltiplas passagens de inferência, o que pode retardar sua aplicação. Além disso, a interdependência de frases em textos complexos pode tornar desafiador isolar influências específicas.

Pesquisadores estão trabalhando para aprimorar a ferramenta para enfrentar esses desafios e otimizar seus processos.

Harrison Chase, CEO da LangChain, vê a ferramenta como significativa para desenvolvedores que estão construindo aplicações LLM. Ele observou que verificar se as saídas são realmente baseadas em dados é uma tarefa crítica, porém intensiva em recursos, e ferramentas como ContextCite poderiam simplificar esse processo.

Aleksander Madry, investigador principal do CSAIL, enfatizou a importância de sistemas de IA confiáveis. ContextCite representa uma abordagem para atender a essa necessidade, principalmente à medida que a IA continua a desempenhar um papel central no processamento e síntese de informações.