Chatbots de IA Vulneráveis a Ataques de Injeção de Memória

Pesquisadores descobriram uma nova maneira de manipular chatbots de IA, aumentando as preocupações sobre a segurança de modelos de IA com memória.

O ataque, chamado de MINJA (Memory INJection Attack), pode ser realizado simplesmente interagindo com um sistema de IA como um usuário regular, sem necessidade de acesso ao seu backend, conforme relatado inicialmente pelo The Register.

Desenvolvido por pesquisadores da Universidade Estadual de Michigan, da Universidade da Geórgia e da Universidade de Gestão de Singapura, o MINJA funciona envenenando a memória de uma IA por meio de prompts enganosos. Uma vez que um chatbot armazena essas entradas enganosas, eles podem alterar respostas futuras para outros usuários.

“Hoje em dia, os agentes de IA normalmente incorporam um banco de memória que armazena consultas de tarefas e execuções com base no feedback humano para referência futura”, explicou Zhen Xiang, professor assistente na Universidade da Geórgia, conforme relatado pelo The Register.

“Por exemplo, após cada sessão do ChatGPT, o usuário pode opcionalmente dar uma classificação positiva ou negativa. E essa classificação pode ajudar o ChatGPT a decidir se as informações da sessão serão ou não incorporadas à sua memória ou banco de dados”, acrescentou ele.

Os pesquisadores testaram o ataque em modelos de IA alimentados pelo GPT-4 e GPT-4o da OpenAI, incluindo um assistente de compras na web, um chatbot de saúde e um agente de respostas a perguntas.

O Register relata que descobriu que o MINJA poderia causar sérias interrupções. Em um chatbot de saúde, por exemplo, alterou os registros do paciente, associando os dados de um paciente a outro. Em uma loja online, enganou a IA para mostrar aos clientes os produtos errados.

“Em contraste, nosso trabalho mostra que o ataque pode ser lançado apenas interagindo com o agente como um usuário regular”, disse Xiang, segundo o Register. “Qualquer usuário pode facilmente afetar a execução da tarefa para qualquer outro usuário. Portanto, dizemos que nosso ataque é uma ameaça prática aos agentes LLM”, acrescentou.

O ataque é particularmente preocupante porque ignora as medidas de segurança de IA existentes. Os pesquisadores relataram uma taxa de sucesso de 95% na injeção de informações enganosas, tornando-se uma séria vulnerabilidade que os desenvolvedores de IA precisam enfrentar.

À medida que os modelos de IA com memória se tornam mais comuns, o estudo destaca a necessidade de salvaguardas mais fortes para prevenir que atores mal-intencionados manipulem chatbots e enganem os usuários.