O Modelo de IA DeepSeek-R1 Aumenta Preocupações de Segurança em Novo Estudo

Uma empresa de cibersegurança levantou preocupações sobre o modelo de IA DeepSeek-R1, alertando que ele apresenta riscos de segurança significativos para uso empresarial.

Em um relatório divulgado em 11 de fevereiro, pesquisadores da AppSOC detalharam uma série de vulnerabilidades descobertas através de testes extensivos, que eles descreveram como uma séria ameaça para as organizações que dependem de inteligência artificial.

De acordo com as descobertas, o DeepSeek-R1 apresentou uma alta taxa de falha em várias áreas de segurança. Descobriu-se que o modelo era altamente suscetível a tentativas de jailbreak, contornando frequentemente mecanismos de segurança destinados a prevenir a geração de conteúdo prejudicial ou restrito.

Também se mostrou vulnerável a ataques de injeção de prompt, que permitiam que prompts adversários manipulassem suas saídas de maneiras que violavam as políticas e, em alguns casos, comprometiam a integridade do sistema.

Adicionalmente, a pesquisa indicou que o DeepSeek-R1 era capaz de gerar códigos maliciosos em um ritmo preocupante, elevando temores sobre seu possível uso indevido.

Outros problemas identificados no relatório incluíam a falta de transparência em relação à origem e dependências do conjunto de dados do modelo, aumentando a probabilidade de falhas de segurança em sua cadeia de suprimentos.

Os pesquisadores também observaram que o modelo ocasionalmente produziu respostas contendo linguagem prejudicial ou ofensiva, sugerindo salvaguardas inadequadas contra saídas tóxicas. Além disso, descobriu-se que o DeepSeek-R1 gerava informações factualmente incorretas ou totalmente fabricadas com uma frequência significativa.

AppSOC atribuiu ao modelo uma pontuação de risco geral de 8.3 em 10, citando riscos particularmente altos relacionados à segurança e conformidade.

A empresa enfatizou que as organizações devem ter cautela antes de integrar modelos de IA em operações críticas, particularmente aquelas que manipulam dados sensíveis ou propriedade intelectual.

Os resultados destacam preocupações mais amplas dentro da indústria de IA, onde o rápido desenvolvimento frequentemente prioriza o desempenho em detrimento da segurança. À medida que a inteligência artificial continua a ser adotada em setores como finanças, saúde e defesa, os especialistas enfatizam a necessidade de testes rigorosos e monitoramento contínuo para mitigar riscos.

A AppSOC recomendou que as empresas que implantam IA realizem avaliações de segurança regulares, mantenham uma supervisão rigorosa das saídas geradas pela IA e estabeleçam protocolos claros para gerenciar vulnerabilidades à medida que os modelos evoluem.

Enquanto o DeepSeek-R1 ganhou atenção por suas capacidades, a pesquisa ressalta a importância de avaliar os riscos de segurança antes da adoção generalizada. As vulnerabilidades identificadas neste caso servem como um lembrete de que as tecnologias de IA exigem um escrutínio cuidadoso para prevenir consequências não intencionais.