Projetos de Código Aberto Enfrentam Dificuldades com Rastreadores de IA Sobrecarregando Seus Sistemas

Os rastreadores de web alimentados por IA surgiram como uma grande ameaça para as comunidades de software de código aberto, causando interrupções generalizadas em sua infraestrutura.

Repositórios populares enfrentam escassez de recursos por conta desses bots, que foram implantados por empresas de IA para coletar dados de treinamento para modelos de linguagem, desacelerando assim o desenvolvimento, conforme relatado inicialmente por ArsTechnica.

Drew DeVault da SourceHut compartilhou suas observações sobre esses crawlers através de uma postagem de blog que descreveu seus efeitos destrutivos. Esses bots de IA contornaram as instruções do arquivo robots.txt que direcionam os crawlers a evitar certas páginas, criando assim grandes interrupções na plataforma SourceHut.

Os crawlers atacaram pontos específicos, como logs git e commits, através de endereços IP aleatórios para disfarçar sua atividade como tráfego normal de usuário. Os bots tornaram o bloqueio efetivo impossível através de seus métodos, o que criou atrasos prolongados nas tarefas do projeto e interrupções no serviço do usuário.

A infraestrutura do GitLab da KDE sofreu uma interrupção temporária devido a bots originados da faixa de IP da Alibaba. Os projetos de código aberto GNOME e outros sofreram ataques idênticos, então eles implementaram o Anubis como um sistema que exige que os bots completem desafios computacionais antes de conceder acesso ao site, conforme relatado pelo The LibreNews.

A “opção nuclear” introduzida pelo Anubis resultou em tempos de espera aumentados para os usuários reais que encontraram um crescimento significativo de tráfego nas solicitações de merge do GNOME, relatou o LibreNews.

Ben, que trabalha como sysadmin do KDE, observou que os bots disfarçavam sua identidade usando agentes de usuário do Microsoft Edge para imitar usuários reais e evitar a detecção de tráfego legítimo. A equipe do Fedora reagiu à interrupção cortando todo o tráfego web brasileiro para evitar mais interrupções, diz LibreNews.

O relatório da LibreNews indica que muitos projetos de código aberto agora experimentam 97% de seu tráfego web proveniente de rastreadores de empresas de IA. Os projetos de código aberto enfrentam desafios crescentes porque as despesas com largura de banda continuam a crescer, enquanto os mantenedores do sistema enfrentam uma pressão crescente para manter as operações suaves.

Projetos de código aberto atualmente utilizam listas de bloqueio e filtragem de agentes de usuário específicos para IA como soluções de emergência, mas as adaptações dos bots tornam esses métodos ineficazes constantemente.

O crescente problema dos rastreadores de IA revela como os projetos de código aberto ficam expostos a ameaças porque dependem de infraestrutura pública e apoio voluntário.

Os dados abertos beneficiam as empresas de IA, mas suas práticas extremas de raspagem de dados acabam prejudicando os sistemas que possibilitam a acessibilidade à internet aberta.