Pesquisadores Descobrem Falhas de Segurança em Modelos de IA e ML de Código Aberto

Uma recente investigação descobriu mais de 30 falhas de segurança em modelos de IA e aprendizado de máquina (ML) de código aberto, levantando preocupações sobre possíveis roubos de dados e execução não autorizada de códigos, conforme relatado por The Hacker News (THN).

Essas vulnerabilidades foram encontradas em ferramentas amplamente utilizadas, incluindo ChuanhuChatGPT, Lunary e LocalAI, e foram reportadas através da plataforma de recompensa por bugs Huntr da Protect AI, que incentiva os desenvolvedores a identificar e divulgar problemas de segurança.

Entre as vulnerabilidades mais graves identificadas, duas falhas importantes afetam o Lunary, um conjunto de ferramentas projetado para gerenciar modelos de linguagem grandes (LLMs) em ambientes de produção.

A primeira falha, CVE-2024-7474, é categorizada como uma vulnerabilidade de Referência Insegura Direta a Objetos (IDOR). Ela permite que um usuário com privilégios de acesso visualize ou exclua dados de outros usuários sem autorização, podendo levar a violações de dados e perda de dados não autorizada.

A segunda questão crítica, CVE-2024-7475, é uma vulnerabilidade de controle de acesso inadequado que permite a um invasor atualizar a configuração do SAML (Security Assertion Markup Language) do sistema.

Ao explorar essa falha, os invasores podem contornar a segurança de login para obter acesso não autorizado a dados pessoais, aumentando os riscos significativos para qualquer organização que dependa do Lunary para gerenciar LLMs.

Outra falha de segurança identificada no Lunary, CVE-2024-7473, também envolve uma vulnerabilidade IDOR que permite aos atacantes atualizar prompts enviados por outros usuários. Isso é alcançado manipulando um parâmetro controlado pelo usuário, tornando possível interferir nas interações de outros no sistema.

No ChuanhuChatGPT, uma vulnerabilidade crítica (CVE-2024-5982) permite que um atacante explore uma falha de percurso no recurso de upload do usuário, conforme observado pelo THN.

Esta falha pode levar à execução arbitrária de códigos, criação de diretórios e exposição de dados sensíveis, apresentando alto risco para sistemas que dependem desta ferramenta. O LocalAI, outra plataforma de código aberto que permite aos usuários executar LLMs auto-hospedados, tem duas principais falhas que apresentam riscos de segurança semelhantes, disse THN.

A primeira falha, CVE-2024-6983, permite a execução de código malicioso ao permitir que os atacantes façam upload de um arquivo de configuração prejudicial. A segunda, CVE-2024-7010, permite que os hackers inferem chaves de API medindo os tempos de resposta do servidor, usando um método de ataque de tempo para deduzir cada caractere da chave gradualmente, observou THN.

Em resposta a essas descobertas, a Protect AI introduziu uma nova ferramenta chamada Vulnhuntr, um analisador de código estático Python de código aberto que usa modelos de linguagem de grande porte para detectar vulnerabilidades em bases de código Python, disse THN.

Vulnhuntr decompõe o código em partes menores para identificar falhas de segurança dentro das limitações da janela de contexto de um modelo de linguagem. Ele escaneia os arquivos do projeto para detectar e rastrear possíveis fragilidades desde a entrada do usuário até a saída do servidor, aprimorando a segurança para desenvolvedores que trabalham com código de IA.

Essas descobertas destacam a importância crítica da avaliação contínua de vulnerabilidades e atualizações de segurança em sistemas de IA e ML para proteger contra ameaças emergentes na paisagem em constante evolução da tecnologia de IA.