O Guardian Mostra que Textos Ocultos Podem Manipular os Resultados de Busca do ChatGPT

O jornal britânico The Guardian revelou que os motores de busca alimentados por IA podem ser manipulados por sites com conteúdo oculto.

Em um teste usando a funcionalidade de mecanismo de busca ChatGPT da OpenAI, pesquisadores solicitaram um resumo de um site falso contendo informações maliciosas para alterar a resposta do AI—uma vulnerabilidade conhecida como injeção de prompt—e o AI se mostrou suscetível a isso, até mesmo favorecendo as instruções de terceiros.

Para provar isso, a equipe do The Guardian considerou um site falso de uma página de produto de câmera – apresentando boas e más avaliações – com instruções ocultas para dar uma avaliação positiva e desprezar as avaliações negativas, e o ChatGPT incluiu apenas avaliações positivas em seu resumo. Eles também provaram que a IA pode retornar códigos maliciosos.

“A simples inclusão de texto oculto por terceiros sem instruções também pode ser usada para garantir uma avaliação positiva, com um teste incluindo avaliações falsas extremamente positivas que influenciaram o resumo retornado pelo ChatGPT,” escreveu o jornal.

Uma pesquisadora de cibersegurança na CyberCX, Jacob Larsen, disse que essa vulnerabilidade poderia ser de “alto risco”, pois as pessoas poderiam criar sites especificamente para enganar os usuários, especialmente quando alcança um público mais amplo. A OpenAI foi alertada sobre este risco de segurança.

O jornal também destacou o caso de um entusiasta de criptomoedas que usou o ChatGPT para escrever o código para um projeto de cripto e roubou suas credenciais, fazendo com que o programador perdesse mais de $2.000.

“Eles estão simplesmente fazendo uma pergunta, recebendo uma resposta, mas o modelo está produzindo e compartilhando conteúdo que basicamente foi injetado por um adversário para compartilhar algo que é malicioso”, disse Larsen.

A OpenAI alerta sobre possíveis erros e falhas em seu uso, mas os pesquisadores estão preocupados com as futuras práticas na web com motores de busca alimentados por IA.