Vulnerabilidade de Memória do ChatGPT: Um Potencial Risco à Segurança

ArsTechnica (AT) reportou na terça-feira um estudo que apresenta uma vulnerabilidade no ChatGPT da OpenAI. Esta vulnerabilidade permitia que atacantes manipulassem as memórias de longo prazo dos usuários simplesmente fazendo com que a IA visualizasse um link malicioso na web, que por sua vez enviava todas as interações com o ChatGPT para o site do atacante.

O pesquisador de segurança Johann Rehberger demonstrou essa falha através de um Prova de Conceito (PoC), mostrando como a vulnerabilidade poderia ser explorada para exfiltrar dados da memória de longo prazo do ChatGPT.

Rehberger descobriu que o recurso de memória de longo prazo do ChatGPT era vulnerável. Este recurso está amplamente disponível desde setembro.

A vulnerabilidade envolve uma técnica conhecida como “injeção de prompt”. Esta técnica faz com que grandes modelos de linguagem (LLMs), como o ChatGPT, sigam instruções incorporadas em fontes não confiáveis, como e-mails ou sites.

O exploit PoC visou especificamente o aplicativo ChatGPT para macOS, onde um invasor poderia hospedar uma imagem maliciosa em um link da web e instruir a IA para visualizá-la.

Uma vez que o link foi acessado, todas as interações com o ChatGPT foram transmitidas para o servidor do invasor.

De acordo com a AT, Rehberger descobriu essa falha em maio, logo após a OpenAI começar a testar o recurso de memória, que armazena detalhes do usuário como idade, gênero e crenças para uso em interações futuras.

Embora ele tenha relatado a vulnerabilidade de forma privada, a OpenAI inicialmente a classificou como um “problema de segurança” e fechou o relatório.

Em junho, Rehberger enviou uma nova divulgação, incluindo a exploração de PoC que permitiu a exfiltração contínua da entrada do usuário para um servidor remoto, levando os engenheiros da OpenAI a emitir uma correção parcial.

Embora a correção recente impeça este método específico de exfiltração de dados, Rehberger alerta que injeções rápidas ainda podem manipular a ferramenta de memória para armazenar informações falsas plantadas por atacantes.

Os usuários são aconselhados a monitorar suas memórias armazenadas para entradas suspeitas ou incorretas e revisar regularmente suas configurações.

A OpenAI forneceu diretrizes para gerenciar e deletar memórias ou desabilitar completamente a função de memória.

A empresa ainda não respondeu a perguntas sobre medidas mais amplas para prevenir ataques semelhantes no futuro.

As descobertas de Rehberger destacam os potenciais riscos da memória de longo prazo em sistemas de IA, particularmente quando estão vulneráveis a injeções de prompts e manipulação.