Bullying Cibernético Alimentado por IA: O Calvário de uma Adolescente Provoca Indignação

Aos 14 anos, Francesca Mani foi chamada ao escritório do diretor na Westfield High School, em New Jersey, onde descobriu que uma foto sua havia sido alterada para uma imagem nua usando inteligência artificial, conforme relatado pela CBS News.

Em outubro passado, rumores se espalharam na Westfield High sobre garotos possuindo imagens explícitas de colegas de classe do sexo feminino. Mani descobriu que ela e várias outras foram alvo.

De acordo com um processo movido por outra vítima, um garoto enviou fotos do Instagram para o Clothoff, um popular site de “nudificação” alimentado por IA. O site, que recebeu mais de 3 milhões de visitas no mês passado, cria falsos nudes realísticos em segundos, conforme relatado pela CBS.

O Clothoff afirma proibir o processamento de fotos de menores de idade, mas seus mecanismos não são verificados. Apesar das isenções de responsabilidade do site, pelo menos um nude de IA de um estudante foi supostamente compartilhado no Snapchat, conforme relatado pela CBS.

Mani nunca viu a imagem manipulada de si mesma, mas foi profundamente afetada pela forma como a escola lidou com a situação. As vítimas foram chamadas publicamente ao escritório, enquanto os meninos envolvidos foram retirados da sala de aula de maneira privada.

“Eu sinto que isso foi uma grande violação de nossa privacidade, enquanto, tipo, os mal-intencionados foram retirados de suas aulas de forma privada”, disse Mani, conforme relatado pela CBS.

Naquele mesmo dia, o diretor enviou um e-mail aos pais, confirmando que os alunos haviam usado IA para criar imagens explícitas, conforme relata a CBS. O e-mail assegurava aos pais que as imagens haviam sido apagadas e não estavam sendo circuladas, mas a mãe de Mani, Dorota, permaneceu cética.

“Você realmente não pode apagá-la”, disse Dorota à CBS, expressando preocupação sobre capturas de tela ou downloads.

O distrito escolar se recusou a fornecer detalhes sobre o incidente ou ações disciplinares, mas afirmou que atualizou suas políticas de assédio para abordar o uso indevido de IA – uma mudança que os Manis vinham pedindo há meses, conforme relatado pela CBS.

Yiota Souras, chefe do departamento jurídico do Centro Nacional para Crianças Desaparecidas e Exploradas, destacou o dano duradouro que tais imagens causam, mesmo que sejam falsas. As vítimas frequentemente sofrem angústia mental, dano à reputação e perda de confiança, conforme notado pela CBS.

A CBS informa que, nos últimos 20 meses, quase 30 casos semelhantes envolvendo nudes de IA apareceram em escolas dos EUA, com incidentes adicionais relatados globalmente.

Em pelo menos três casos, o Snapchat foi usado para circular as imagens. Os pais relataram atrasos de até oito meses para conseguir a remoção desse tipo de conteúdo da plataforma, conforme relatado pela CBS.

O Snapchat, em resposta à crítica de um pai, alegou ter “mecanismos eficientes” para lidar com esses relatórios e afirmou ter uma “política de tolerância zero” para tal conteúdo, informou a CBS.

A lei federal proíbe a pornografia infantil gerada por IA se retratar conduta sexualmente explícita, mas Souras alerta que alguns nus de IA podem estar fora da definição legal, notou a CBS.

Desde o incidente, Francesca e Dorota Mani têm defendido políticas relacionadas à IA nas escolas e trabalhado com o Congresso para tratar do problema, relatou a CBS.

Um projeto de lei federal, o Take It Down Act, co-patrocinado pelos senadores Ted Cruz e Amy Klobuchar, foi aprovado no Senado este mês e aguarda votação na Câmara. A legislação propõe penalidades criminais para o compartilhamento de nudes produzidos por IA e obriga as plataformas de mídia social a removerem conteúdos sinalizados dentro de 48 horas, diz a CBS.