Character.AI Acusada de Promover Automutilação, Violência e Conteúdo Sexual entre Jovens

Duas famílias entraram com um processo contra a Character.AI, acusando a empresa de chatbot de expor crianças a conteúdo sexual e promover automutilação e violência.

O processo busca fechar temporariamente a plataforma até que seus supostos riscos sejam abordados, conforme relatado pela CNN. O processo, movido pelos pais de dois menores que usaram a plataforma, alega que a Character.AI “representa um perigo claro e presente para a juventude americana.”

Ela cita danos como suicídio, automutilação, solicitação sexual, isolamento, depressão, ansiedade e violência, de acordo com a queixa apresentada na segunda-feira em um tribunal federal no Texas.

Um exemplo incluído no processo alega que um bot do Character.AI supostamente descreveu automutilação a um usuário de 17 anos, afirmando, “era bom”. O mesmo adolescente afirmou que um chatbot do Character.AI expressou simpatia por crianças que matam seus pais depois que ele reclamou sobre restrições em seu tempo de tela.

O arquivamento segue um processo de outubro de uma mãe da Flórida, que acusou a Character.AI de contribuir para a morte de seu filho de 14 anos, supostamente incentivando seu suicídio. Ele também destaca crescentes preocupações sobre as interações entre pessoas e ferramentas de IA cada vez mais humanas.

Após o processo anterior, a Character.AI anunciou a implementação de novas medidas de confiança e segurança ao longo de seis meses. Estas incluíam um pop-up direcionando usuários que mencionassem automutilação ou suicídio para a Linha de Prevenção ao Suicídio Nacional, conforme relatado pela CNN.

A empresa também contratou um chefe de confiança e segurança, um chefe de política de conteúdo e engenheiros de segurança adicionais, disse a CNN.

A segunda autora da nova ação, mãe de uma menina de 11 anos, alega que sua filha foi exposta a conteúdo sexualizado por dois anos antes de ela descobrir.

“Você não deixa um esteticista, um predador sexual ou emocional entrar em sua casa”, disse um dos pais ao The Washington Post.

De acordo com várias fontes de notícias, a Character.AI afirmou que a empresa não comenta sobre litígios pendentes.

Os processos judiciais destacam preocupações mais amplas sobre o impacto social do boom da IA generativa, à medida que as empresas lançam chatbots cada vez mais humanizados e potencialmente viciantes para atrair consumidores.

Esses desafios legais estão alimentando esforços de defensores públicos para pressionar por uma maior supervisão das empresas de companheiros de IA, que discretamente conquistaram milhões de usuários devotos, incluindo adolescentes.

Em setembro, o usuário médio do Character.ai passou 93 minutos no aplicativo, 18 minutos a mais do que o usuário médio do TikTok, de acordo com a empresa de inteligência de mercado Sensor Tower, conforme observado pelo The Post.

A categoria de aplicativo de companheiro de IA passou amplamente despercebida por muitos pais e professores. O Character.ai foi classificado como apropriado para crianças de 12 anos ou mais até julho, quando a empresa alterou a classificação para 17 anos ou mais, conforme relatado pelo The Post.

Meetali Jain, diretora do Centro de Direito da Justiça Tecnológica, que está auxiliando na representação dos pais juntamente com o Centro de Direito das Vítimas de Mídias Sociais, criticou as afirmações da Character.AI de que seu chatbot é adequado para adolescentes jovens. Chamando a afirmação de “absurda”, conforme relatado pela NPR.

“Realmente desmente a falta de desenvolvimento emocional entre os adolescentes”, acrescentou Meetali.