Estudo Não Encontra Evidências de Habilidades Emergentes Perigosas em Grandes Modelos de Linguagem

Um estudo anunciado ontem pela Universidade de Bath afirma que os grandes modelos de linguagem (LLMs) não representam ameaças existenciais à humanidade. A pesquisa afirma que esses modelos não conseguem aprender ou adquirir novas habilidades de forma independente, o que os mantém controláveis e seguros.

A equipe de pesquisa, liderada pela Professora Iryna Gurevych, realizou mais de 1.000 experimentos para testar a capacidade dos LLMs para habilidades emergentes – tarefas e conhecimentos não programados explicitamente neles. Suas descobertas mostram que o que é percebido como habilidades emergentes resulta, na verdade, do uso de aprendizado em contexto pelos LLMs, ao invés de qualquer forma de aprendizado independente ou raciocínio.

O estudo indica que, embora os LLMs sejam proficientes no processamento de linguagem e no seguimento de instruções, eles carecem da habilidade de dominar novas habilidades sem orientação explícita. Essa limitação fundamental significa que esses modelos permanecem controláveis, previsíveis e inerentemente seguros. Apesar de sua crescente sofisticação, os pesquisadores argumentam que é improvável que os LLMs desenvolvam habilidades de raciocínio complexo ou realizem ações inesperadas.

Dr. Harish Tayyar Madabushi, co-autor do estudo, declarou no anúncio da Universidade de Bath, “A narrativa predominante de que esse tipo de IA é uma ameaça à humanidade impede a adoção e o desenvolvimento generalizados dessas tecnologias, e também desvia a atenção dos problemas genuínos que requerem nosso foco”

A Dra. Tayyar Madabushi recomenda que se concentre nos riscos reais, como o potencial uso indevido dos LLMs para gerar notícias falsas ou cometer fraudes. Ela alerta contra a implementação de regulamentações baseadas em ameaças especulativas e incentiva os usuários a especificar claramente as tarefas para os LLMs e fornecer exemplos detalhados para garantir resultados eficazes.

A Professora Gurevych observou no anúncio: “Nossos resultados não significam que a IA não é uma ameaça de forma alguma. Pelo contrário, mostramos que a suposta emergência de habilidades de pensamento complexas associadas a ameaças específicas não é suportada por evidências e que podemos controlar muito bem o processo de aprendizagem dos LLMs afinal. Portanto, as pesquisas futuras devem se concentrar em outros riscos apresentados pelos modelos, como o potencial de serem usados para gerar notícias falsas.”

As pesquisadoras reconhecem várias limitações em seu estudo. Elas testaram vários modelos, incluindo T5, GPT, Falcon e LLaMA, mas não conseguiram igualar o número de parâmetros exatamente devido às diferenças nos tamanhos dos modelos no momento do lançamento. Elas também consideraram o risco de vazamento de dados, onde informações dos dados de treinamento podem afetar inadvertidamente os resultados. Embora presumam que este problema não tenha ido além do que é relatado para modelos específicos, o vazamento de dados ainda poderia afetar o desempenho.