Chatbots de IA Vulneráveis a Ataques de Injeção de Memória

Image by Mika Baumeister, from Unsplash

Chatbots de IA Vulneráveis a Ataques de Injeção de Memória

Tempo de leitura: 3 minuto

Pesquisadores descobriram uma nova maneira de manipular chatbots de IA, aumentando as preocupações sobre a segurança de modelos de IA com memória.

Com pressa? Aqui estão os fatos rápidos!

  • Pesquisadores de três universidades desenvolveram o MINJA, mostrando seu alto sucesso em engano.
  • O ataque altera as respostas do chatbot, afetando as recomendações de produtos e informações médicas.
  • O MINJA contorna medidas de segurança, alcançando uma Taxa de Sucesso de Injeção de 95% nos testes.

O ataque, chamado de MINJA (Memory INJection Attack), pode ser realizado simplesmente interagindo com um sistema de IA como um usuário regular, sem necessidade de acesso ao seu backend, conforme relatado inicialmente pelo The Register.

Desenvolvido por pesquisadores da Universidade Estadual de Michigan, da Universidade da Geórgia e da Universidade de Gestão de Singapura, o MINJA funciona envenenando a memória de uma IA por meio de prompts enganosos. Uma vez que um chatbot armazena essas entradas enganosas, eles podem alterar respostas futuras para outros usuários.

“Hoje em dia, os agentes de IA normalmente incorporam um banco de memória que armazena consultas de tarefas e execuções com base no feedback humano para referência futura”, explicou Zhen Xiang, professor assistente na Universidade da Geórgia, conforme relatado pelo The Register.

“Por exemplo, após cada sessão do ChatGPT, o usuário pode opcionalmente dar uma classificação positiva ou negativa. E essa classificação pode ajudar o ChatGPT a decidir se as informações da sessão serão ou não incorporadas à sua memória ou banco de dados”, acrescentou ele.

Os pesquisadores testaram o ataque em modelos de IA alimentados pelo GPT-4 e GPT-4o da OpenAI, incluindo um assistente de compras na web, um chatbot de saúde e um agente de respostas a perguntas.

O Register relata que descobriu que o MINJA poderia causar sérias interrupções. Em um chatbot de saúde, por exemplo, alterou os registros do paciente, associando os dados de um paciente a outro. Em uma loja online, enganou a IA para mostrar aos clientes os produtos errados.

“Em contraste, nosso trabalho mostra que o ataque pode ser lançado apenas interagindo com o agente como um usuário regular”, disse Xiang, segundo o Register. “Qualquer usuário pode facilmente afetar a execução da tarefa para qualquer outro usuário. Portanto, dizemos que nosso ataque é uma ameaça prática aos agentes LLM”, acrescentou.

O ataque é particularmente preocupante porque ignora as medidas de segurança de IA existentes. Os pesquisadores relataram uma taxa de sucesso de 95% na injeção de informações enganosas, tornando-se uma séria vulnerabilidade que os desenvolvedores de IA precisam enfrentar.

À medida que os modelos de IA com memória se tornam mais comuns, o estudo destaca a necessidade de salvaguardas mais fortes para prevenir que atores mal-intencionados manipulem chatbots e enganem os usuários.

Gostou desse artigo? Avalie!
Eu detestei Eu não gostei Achei razoável Muito bom! Eu adorei!

Estamos muito felizes que tenha gostado do nosso trabalho!

Como um leitor importante, você se importaria de nos avaliar no Trustpilot? É rápido e significa muito para nós. Obrigado por ser incrível!

Avalie-nos no Trustpilot
0 Votado por 0 usuários
Título
Comentar
Obrigado por seu feedback
Loader
Please wait 5 minutes before posting another comment.
Comment sent for approval.

Deixe um comentário

Loader
Loader Mostrar mais...