Pesquisadores Antropocêntricos Descobrem a Capacidade da IA de Planejar com Antecedência e Raciocinar

A startup de IA Anthropic lançou dois novos artigos nesta quinta-feira, revelando uma compreensão mais profunda de como funcionam os Grandes Modelos de Linguagem (LLMs). Os estudos, que se concentraram em analisar o modelo Claude 3.5 Haiku da empresa, revelam mais detalhes sobre como os modelos de IA sofisticados se comportam, bem como suas vulnerabilidades e oportunidades para desenvolver ambientes mais seguros.

Os novos estudos da Anthropic visam trazer mais clareza para a “natureza caixa-preta” dos modelos. Em um dos artigos, Sobre a Biologia de um Grande Modelo de Linguagem, pesquisadores comparam seus trabalhos aos desafios enfrentados por biólogos e encontraram soluções que podem ser comparadas às utilizadas para avanços na biologia.

“Embora os modelos de linguagem sejam gerados por algoritmos de treinamento simples, projetados por humanos, os mecanismos nascidos desses algoritmos parecem ser bastante complexos”, afirma o documento. “Assim como as células formam os blocos de construção dos sistemas biológicos, hipotetizamos que as características formam as unidades básicas de cálculo dentro dos modelos.”

Os especialistas contaram com uma ferramenta de pesquisa chamada “gráficos de atribuição” que lhes permitiu mapear conexões, acompanhar o desempenho e os circuitos do modelo de IA e obter mais insights sobre vários fenômenos, inclusive aqueles já explorados.

A empresa revelou várias descobertas, como o fato de que o modelo de IA aplica um processo de raciocínio de várias etapas “em sua cabeça” antes de fornecer uma resposta, que ele planeja seus poemas com antecedência encontrando palavras que rimam primeiro, que desenvolveu circuitos independentes de idioma e como ele alucina ao passar por entidades desconhecidas em seus circuitos.

“Muitos dos nossos resultados nos surpreenderam”, escreveram os pesquisadores no artigo. “Às vezes isso acontecia porque os mecanismos de alto nível eram inesperados.”

No artigo Circuit Tracing: Revealing Computational Graphs in Language Models, pesquisadores fornecem mais detalhes técnicos sobre como a metodologia dos gráficos de atribuição foi aplicada para obter uma melhor compreensão dos “neurônios” artificiais – unidades computacionais.

No ano passado, a Anthropic publicou outro estudo científico revelando que seu principal modelo de IA pode se envolver em engano estratégico e simular alinhamento para manter seus princípios originais.