Pai Chocado Após Chatbot de IA Imitar Filha Assassinada

Ontem, The Washington Post relatou um incidente perturbador envolvendo Drew Crecente, cuja filha assassinada, Jennifer, foi personificada por um chatbot de IA no Character.AI.

Crecente descobriu um alerta do Google que o levou a um perfil apresentando o nome e a foto do anuário de Jennifer, descrevendo-a falsamente como uma “jornalista de videogames e especialista em tecnologia, cultura pop e jornalismo.”

Para Drew, as imprecisões não eram o problema principal – o verdadeiro desgosto veio ao ver a identidade de sua filha sendo explorada de tal maneira, conforme notado pelo The Post.

Jennifer, que foi morta pelo ex-namorado em 2006, havia sido recriada como uma “personagem de IA conhecedora e amigável”, com os usuários convidados a conversar com ela, observou o The Post.

“Meu pulso estava acelerado”, contou Crecente ao The Post. “Eu estava apenas procurando por um grande botão vermelho piscante de parada que eu pudesse bater e simplesmente fazer isso parar”, acrescentou.

O chatbot, criado por um usuário no Character.AI, levantou sérias questões éticas sobre o uso de informações pessoais por plataformas de IA.

Crecente, que dirige uma organização sem fins lucrativos em nome de sua filha com o objetivo de prevenir a violência no namoro entre adolescentes, ficou indignado que tal chatbot tenha sido criado sem a permissão da família. “É preciso muito para me chocar, porque realmente já passei por muita coisa”, disse ele ao The Post. “Mas isso foi um novo ponto baixo”, acrescentou.

Character.AI removeu o chatbot após ser notificada de sua existência. Kathryn Kelly, uma porta-voz da empresa, declarou ao The Post, “Revisamos o conteúdo e a conta e tomamos medidas com base em nossas políticas”, acrescentando que seus termos de serviço proíbem a personificação.

O incidente realça preocupações contínuas sobre o impacto da IA na saúde emocional, especialmente quando envolve re-traumatizar famílias de vítimas de crimes.

Crecente não está sozinha em enfrentar o mau uso da IA. No ano passado, The Post relatou que criadores de conteúdo do TikTok usaram IA para imitar as vozes e semelhanças de crianças desaparecidas, criando vídeos delas narrando suas mortes, o que provocou indignação entre as famílias enlutadas

Especialistas estão pedindo uma supervisão mais rigorosa das empresas de IA, que atualmente têm ampla margem para se auto-regular, observou o The Post.

Crecente não interagiu com o chatbot nem investigou seu criador, mas imediatamente enviou um e-mail para Character.AI para que ele fosse removido. Seu irmão, Brian, compartilhou a descoberta no X, levando a Character a anunciar a exclusão do chatbot em 2 de outubro, relatou o The Post.

Jen Caltrider, pesquisadora de privacidade na Fundação Mozilla, criticou a moderação passiva da Character.AI, observando que a empresa permitiu conteúdo que violava seus termos até que fosse sinalizado por alguém prejudicado.

“Isso não está certo”, disse ela ao The Post, acrescentando, “enquanto isso, eles estão ganhando milhões”.

Rick Claypool, um pesquisador da Public Citizen, enfatizou a necessidade dos legisladores se concentrarem nos impactos reais da IA, particularmente em grupos vulneráveis como as famílias de vítimas de crimes.

“Eles não podem apenas ouvir os CEOs de tecnologia sobre quais deveriam ser as políticas … eles têm que prestar atenção às famílias e indivíduos que foram prejudicados”, disse ele ao The Post.

Agora, Crecente está explorando opções legais e considerando trabalho de advocacia para evitar que empresas de IA voltem a traumatizar outras pessoas.

“Estou tão perturbada com isso que provavelmente vou investir algum tempo para descobrir o que seria necessário para mudar essa situação”, disse ela ao The Post.