Opinião: A Epidemia de Alucinação de IA, Uma Crise para a Qual Não Estamos Prontos

Apesar das contínuas promessas de reduzir as alucinações de IA, as principais ferramentas de IA – de ChatGPT a Perplexity a Gemini, e Apple Intelligence – continuam a gerar informações falsas, muitas vezes com consequências alarmantes. Especialistas, incluindo aqueles que alertam sobre os riscos da IA, caíram para conteúdo fabricado, e até mesmo ferramentas avançadas como Deep Research estão inventando relatórios. A verdade parece continuar nas mãos humanas

Os chatbots têm melhorado ao longo dos anos – muito melhor. No entanto, há um problema que ainda não foi totalmente resolvido e é conhecido como “alucinações”.

Nossos queridos chatbots compartilham respostas brilhantes para nossas perguntas com a determinação e autoridade de um Yoda da ficção científica, mesmo quando estão terrivelmente errados. E nós acreditamos neles. Às vezes, cegamente.

Vários cientistas, especialistas e até desenvolvedores de chatbots vêm alertando sobre alucinações há anos. No entanto, embora a adoção tenha se espalhado rapidamente – a OpenAI relatou 400 milhões de usuários ativos semanalmente há apenas alguns dias – a alfabetização em IA não acompanhou o ritmo.

Estudos recentes, casos judiciais e eventos dramáticos continuam a mostrar que a desinformação é ainda mais perigosa do que percebemos.

É Pior Do Que Pensamos

No início, identificar grandes erros gerados pela IA era bastante engraçado – como aquelas constrangedoras visões gerais da IA geradas pelo Gemini sugerindo aos usuários adicionar “cola não tóxica ao molho” para uma receita de pizza ou recomendando comer “uma pequena pedra por dia” no ano passado. Mas, à medida que recuperamos a confiança na IA, a situação se agravou, tornando-se cada vez mais preocupante.

Em dezembro, vimos a ferramenta de IA da Apple criar manchetes “resumindo” notícias e gerando informações falsas e enganosas, como alegar falsamente que a BBC havia anunciado que Luigi Mangione havia se suicidado. Após este incidente, a publicação registrou uma queixa contra a Apple e começou a pesquisar a precisão da IA gerativa ao analisar o conteúdo de notícias.

Os resultados da BBC, publicados há poucos dias, revelaram estatísticas alarmantes: 51% das respostas fornecidas pelos populares Chatbots de IA continham problemas significativos, 13% das citações fornecidas pelos modelos foram completamente fabricadas e 19% dos dados estavam incorretos.

Os adolescentes estão entre as populações mais afetadas, pois muitas vezes lutam para distinguir notícias falsas de notícias reais, e podem ser facilmente influenciados por conteúdo gerado por IA. Um estudo publicado em janeiro mostrou que 35% dos adolescentes foram enganados por conteúdo falso gerado por modelos de IA, e 22% compartilharam a informação falsa.

Mas não são apenas os adolescentes e as pessoas distraídas que caem por essas ilusões. E não são apenas a Gemini ou a Apple Intelligence.

Nenhum Modelo de IA Está Livre, Nenhuma Indústria Está Segura

A pesquisa realizada pela BBC confirma outro problema: todos os modelos de IA sofrem alucinações. Especialistas consideraram os modelos mais populares, como ChatGPT, Gemini, Perplexity e Copilot. Nenhum modelo de IA está isento de erros. A Anthropic tem uma página abordando essa questão, sugerindo ideias de como reduzir as alucinações.

“Mesmo os modelos de linguagem mais avançados, como o Claude, às vezes podem gerar textos que são factualmente incorretos ou inconsistentes com o contexto dado”, afirma o documento. Outras empresas de IA compartilharam páginas semelhantes com dicas e truques para evitar conteúdo falso, mas não é tão fácil e tem sido um problema não resolvido há bastante tempo.

Lá em 2023, a OpenAI anunciou que estava trabalhando em novas e inovadoras maneiras de se livrar das alucinações. Alerta de spoiler: ainda é um grande problema hoje.

Em janeiro de 2024—mais de um ano atrás—o CEO Aravind Srinivas disse que as alucinações da Perplexity estavam ocorrendo principalmente em contas não pagas. “A maioria das reclamações vem da versão gratuita do produto”, explicou Srinivas, acrescentando que eles já estavam trazendo mais GPUs para corrigir o problema. No entanto, em outubro, o New York Post e Dow Jones entraram com um processo contra a Perplexity—pois seu modelo continuava atribuindo notícias falsas às suas publicações—, e a ferramenta de IA desenvolvida pela startup para as eleições nos EUA foi testada por especialistas que revelaram inconsistências, resumos imprecisos e alucinações.

A Doença das Alucinações Está Atingindo Níveis Científicos e Acadêmicos

Uma das maiores preocupações atualmente é que até mesmo especialistas – incluindo aqueles que alertam sobre os riscos e perigos da IA – têm caído na armadilha dessas ferramentas propensas a alucinações.

Em dezembro, o professor de Stanford e especialista em tecnologia e desinformação Jeff Hancock foi acusado de usar IA para elaborar uma declaração judicial. Hancock apresentou uma declaração de 12 páginas defendendo a lei estadual de 2023 que criminaliza o uso de deepfakes, incluindo 15 citações. No entanto, duas dessas citações não puderam ser encontradas em lugar nenhum – porque o ChatGPT, a ferramenta de IA preferida do especialista em desinformação, simplesmente as inventou.

Hancock — programado para ensinar “Verdade, Confiança e Tecnologia” este ano — explicou que usou o chatbot da OpenAI para organizar suas citações, o que levou às alucinações. O pesquisador pediu desculpas — e manteve os pontos substanciais de sua declaração —, e nos ensinou a todos a valiosa lição de que até mesmo os especialistas e os mais conhecedores sobre os riscos da IA são suscetíveis a eles.

O professor Hancock não foi o único a apresentar documentos contendo invenções geradas por IA em tribunal, é claro. Outro caso envolvendo um processo contra o Walmart recentemente se tornou viral porque os advogados usaram casos falsos gerados por IA para construir seu argumento. Na verdade, o problema se tornou tão frequente nos tribunais dos EUA que o escritório de advocacia Morgan & Morgan recentemente enviou e-mails para seus mais de 1.000 advogados, alertando-os sobre os riscos de usar citações geradas por IA, e a American Bar Association lembrou seus 400.000 membros das regras de ética dos advogados — incluindo informações geradas por IA.

Pesquisa Profunda também

Uma das ferramentas de IA mais populares atualmente é a “Deep Research”, projetada para especialistas e cientistas em busca de resultados mais complexos em suas pesquisas. As alucinações também não estão ausentes desta ferramenta, embora a versão da OpenAI inicialmente exigisse uma assinatura Pro de $200 para acesso.

Usuários no Reddit levantaram preocupações sobre este problema, relatando que todos os modelos populares que possuem ferramentas de pesquisa aprofundada—Perplexity, ChatGPT e DeepSeek—tiveram alucinações. Pesquisadores e especialistas em IA também compartilharam resultados preocupantes em outras plataformas de mídia social, como X.

“A ferramenta produziu um relatório lindamente escrito e argumentado”, escreveu uma usuária que usou a ferramenta de Deep Research da OpenAI para estudar matemática feita por jovens. “O único problema é que tudo é inventado.”

“Deep Research inventou um monte de estatísticas e análises, enquanto afirmava compilar um conjunto de dados de milhares de artigos, e supostamente coletar informações de ano de nascimento de cada autor de fontes confiáveis”, compartilhou outra. “Nada disso é verdade.”

A pior alucinação que eu vi de um sota LLM por um bom tempo

A Deep Research inventou um monte de estatísticas e análises, alegando compilar um conjunto de dados de milhares de artigos e supostamente coletar informações do ano de nascimento de cada autor a partir de fontes confiáveis

Nada disso é verdade https://t.co/ZZk40vTKIM pic.twitter.com/RAnNVcHDmR

— Paul Calcraft (@paul_cal) 18 de fevereiro de 2025

A Verdade Permanece nas Mãos Humanas

Os chatbots algum dia deixarão de ter alucinações? O ponto fraco da IA tem sido evidente há anos — nós o vimos em podcasts como o Planet Money quando eles testaram episódios gerados por IA em 2023, e continuamos a ver isso nos modelos mais avançados, mesmo aqueles projetados para uso exclusivo por comunidades de especialistas e conhecedores de tecnologia.

Talvez seja hora de aceitar que isso continuará sendo um problema e entender que devemos assumir a responsabilidade pelo que criamos e compartilhamos usando ferramentas de IA.

O fato de que, mesmo parecendo um problema bem conhecido, os próprios especialistas em riscos de IA estão caindo na escrita persuasiva e convincente da IA é definitivamente preocupante. A situação se torna ainda mais complexa à medida que a adoção continua a acelerar em alta velocidade, superando a alfabetização digital, enquanto as inconsistências e citações fabricadas se multiplicam.

Casos em que alucinações de IA foram expostas tendem a ser aqueles nos quais a verificação de fatos é crucial – algo que Zuckerberg deveria ser lembrado agora que ele eliminou seu departamento de verificação de fatos. Isso é particularmente evidente em tribunais, onde advogados e juízes trabalham para verificar fatos e casos, e na mídia de notícias, onde a precisão e a validação de fontes importam.

Mas e os casos onde ninguém está escrutinando esses detalhes? O que acontece em contextos cotidianos, mais pessoais? Neste momento, milhões de estudantes estão memorizando respostas geradas por IA para seus estudos, usuários estão seguindo instruções fornecidas por IA para tratar doenças, e outros estão aprendendo sobre novos tópicos, confiando plenamente na tecnologia.

As consequências dessa nova realidade que estamos enfrentando são imensuráveis e imprevisíveis, e a verdade — por enquanto — está nas mãos daqueles que reservam um tempo para questionar e verificar.