Pesquisadores dos EUA Desenvolvem Modelo Avançado de Raciocínio Por Menos de $50

Pesquisadores de IA da Universidade de Washington e Stanford treinaram um modelo de raciocínio de IA por menos de $50 – em créditos de computação em nuvem – chamado s1. A equipe lançou um artigo, intitulado s1: Simple test-time scaling, com mais detalhes sobre sua metodologia nesta segunda-feira.

De acordo com o TechCrunch, o novo modelo tem desempenho semelhante a modelos avançados como o R1 do DeepSeek ou o o1 do OpenAI e está disponível no GitHub.

Para desenvolver o modelo de IA, os pesquisadores aplicaram um processo conhecido como destilação – quando um modelo de IA maior fornece dados a um modelo menor – obtendo capacidades de raciocínio do Google Gemini 2.0 Flash Thinking Experimental.

Este processo está ganhando popularidade na indústria de IA, já que OpenAI alega que DeepSeek usou o processo, sem autorização, para desenvolver seu avançado modelo de raciocínio. Pesquisadores do Sky Computing Lab da UC Berkeley também conseguiram recentemente treinar um modelo de raciocínio por menos de $450 com essa técnica, o que está gerando debate no Vale do Silício e raiva entre grandes empresas de IA.

As pesquisadoras que desenvolvem o modelo s1 também consideraram uma abordagem de “escala em tempo de teste” – forçando o modelo a parar e raciocinar mais antes de fornecer uma resposta – e realizaram o ajuste fino supervisionado a partir de um modelo pré-treinado para construir seu modelo de raciocínio de IA.

“Desenvolvemos o forçamento de orçamento para controlar o cálculo em tempo de teste, terminando forçadamente o processo de pensamento do modelo ou prolongando-o ao adicionar ‘Aguarde’ várias vezes à geração do modelo quando ele tenta terminar”, afirma o artigo. “Isso pode levar o modelo a verificar sua resposta novamente, muitas vezes corrigindo um raciocínio incorreto.”

As especialistas utilizaram um conjunto de dados de 1.000 perguntas e respostas selecionadas para treinar seu modelo em menos de 30 minutos usando GPUs Nvidia H100, demonstrando que é possível obter resultados avançados com um pequeno banco de dados e aproveitando outras tecnologias e modelos de IA.

“Avanços recentes no raciocínio, como o o1 da OpenAi e o R1 da DeepSeek, carecem de transparência, limitando o progresso da pesquisa de forma mais ampla”, escreveram as pesquisadoras. “Nosso trabalho visa impulsionar a fronteira do raciocínio de maneira totalmente aberta, promovendo inovação e colaboração para acelerar avanços que beneficiam a sociedade em última instância.”