O MIT Revela Que os LLMs Podem Desenvolver Sua Própria Compreensão da Realidade

Pesquisadores do MIT descobriram que grandes modelos de linguagem (LLMs) podem criar suas próprias representações internas da realidade. Treinar um LLM em quebra-cabeças revelou que o modelo desenvolveu uma compreensão do ambiente do quebra-cabeça por conta própria, sem instrução explícita. A pesquisa foi relatada ontem pelo MIT News.

Para testar isso, os pesquisadores usaram quebra-cabeças Karel—tarefas que envolvem dar instruções a um robô em um ambiente simulado. Depois de treinar o modelo em mais de 1 milhão desses quebra-cabeças, eles descobriram que o LLM não só melhorou na geração de instruções corretas, mas também pareceu desenvolver uma simulação interna do ambiente do quebra-cabeça.

Charles Jin, o autor principal do estudo, explicou: “No início desses experimentos, o modelo de linguagem gerava instruções aleatórias que não funcionavam. Ao completarmos o treinamento, nosso modelo de linguagem gerava instruções corretas numa taxa de 92,4 por cento.”

Esse modelo interno, revelado por meio de uma técnica de aprendizado de máquina chamada “sondagem”, revelou um modelo interno de como o robô respondia às instruções, sugerindo uma forma de compreensão além da sintaxe.

A sonda foi projetada apenas para “olhar dentro do cérebro de um LLM”, como Jin coloca, mas havia uma chance de que ela poderia ter influenciado o pensamento do modelo.

Jin explica, “A sonda é como um analista forense: você entrega a ele um monte de dados e diz, ‘Aqui estão os movimentos do robô, agora tente encontrar os movimentos do robô no monte de dados’. O analista, mais tarde, lhe diz que sabe o que está acontecendo com o robô no monte de dados.”

Jin acrescenta, “Mas e se o monte de dados na verdade apenas codifica as instruções brutais, e o analista descobriu uma maneira inteligente de extrair as instruções e segui-las de acordo? Então o modelo de linguagem não aprendeu realmente o que as instruções significam.”

Para testar isso, os pesquisadores realizaram um experimento “Mundo Bizarro”, no qual os significados das instruções foram invertidos. Neste cenário, a sonda teve dificuldade em interpretar as instruções alteradas, sugerindo que o LLM havia desenvolvido seu próprio entendimento semântico das instruções originais.

Esses resultados desafiam a visão predominante de que os LLMs são apenas máquinas sofisticadas de correspondência de padrões. Em vez disso, sugere-se que esses modelos possam estar desenvolvendo uma compreensão mais profunda e mais matizada da linguagem e do mundo que ela representa.

Um estudo da Universidade de Bath no início desta semana indicou que os LLMs se destacam no processamento de linguagem, mas enfrentam dificuldades na aquisição de habilidades independentes. Isso reforçou a ideia da previsibilidade dos LLMs. No entanto, a pesquisa do MIT oferece uma perspectiva contrastante.

Embora os resultados do MIT pareçam promissores, os pesquisadores apontam algumas limitações. Especificamente, Jin reconhece que eles usaram uma linguagem de programação muito simples e um modelo relativamente pequeno para obter suas percepções.

Em conclusão, embora os resultados do MIT sejam encorajadores, os pesquisadores alertam que mais pesquisas são necessárias para entender completamente as implicações.