MIT lança SEAL: IA que se autotreina e melhora sozinha

O Instituto de Tecnologia de Massachusetts (MIT) apresentou uma inovação revolucionária no campo da inteligência artificial: o SEAL (*Self-Adapting Language Models*), um novo framework que permite que grandes modelos de linguagem (LLMs) façam autotreinamento e atualizem seus próprios pesos por meio de aprendizado por reforço. Essa tecnologia representa mais um passo concreto rumo ao desenvolvimento de sistemas de IA verdadeiramente autônomos e autoevolutivos. Embora o conceito de IA autossuficiente venha ganhando destaque nos últimos anos, com pesquisadores e executivos como Sam Altman, CEO da OpenAI, discutindo seu futuro, o SEAL surge como uma proposta prática e testável, capaz de transformar como os modelos aprendem e se adaptam a novos dados.

A pesquisa, publicada recentemente, já desperta debates acalorados na comunidade tech, especialmente após ser compartilhada em fóruns como o Hacker News. Diferentemente dos métodos tradicionais de fine-tuning, que dependem de conjuntos de dados externos ou supervisão humana, o SEAL propõe um mecanismo no qual o próprio modelo gera seus dados de treinamento por meio de “autoreditoração” (*self-editing*) e, subsequentemente, ajusta seus parâmetros com base em novos inputs. A magia por trás desse processo está no aprendizado por reforço, onde o sistema recebe recompensas sempre que as alterações aplicadas resultam em melhorias no desempenho final da tarefa-alvo.

A chegada do SEAL não poderia ser mais oportuna, já que o tema da autoevolução de IA está em alta. Recentemente, outras iniciativas chamaram a atenção da comunidade científica, como a *Darwin-Gödel Machine* (DGM), da Sakana AI e da Universidade da Colúmbia Britânica, o *Self-Rewarding Training* (SRT), da Universidade Carnegie Mellon, e o *MM-UPT*, da Universidade Jiao Tong de Xangai, voltado para modelos multimodais. Além disso, a *UI-Genie*, desenvolvida pela Universidade Chinesa de Hong Kong em parceria com a vivo, também explora frameworks de autotreinamento contínuo. Esses projetos, somados ao SEAL, sinalizam um movimento crescente rumo a sistemas que não apenas aprendem, mas que também se aperfeiçoam de forma independente.

A discussão ganhou ainda mais fôlego após Sam Altman, CEO da OpenAI, publicar em seu blog *The Gentle Singularity*, no qual descreve um futuro onde robôs humanoides autoevolutivos poderiam operar cadeias de suprimentos, fabricar mais robôs e até construir novas instalações de chips e data centers. Essa visão foi reforçada por uma suposta revelação — não confirmada oficialmente — de um funcionário da OpenAI, que teria afirmado em um tweet que a empresa já estaria testando internamente sistemas de IA que se autoaperfeiçoam de forma recursiva. Embora a veracidade dessas informações ainda seja questionável, o anúncio do MIT serve como prova tangível de que a autoevolução de IA não é mais um mero exercício teórico.

O cerne do SEAL está em sua capacidade de permitir que os modelos de linguagem melhorem a si mesmos quando confrontados com novas informações. Isso é feito por meio da geração de dados sintéticos e da otimização de seus parâmetros via autoreditoração. O objetivo do treinamento é fazer com que o modelo aprenda a criar essas “autoreditorações” (*SEs — Self-Edits*) diretamente a partir dos dados disponíveis em seu contexto. O processo é guiado pelo aprendizado por reforço: o modelo recebe uma recompensa sempre que as edições que ele mesmo gerou resultam em um desempenho superior na tarefa avaliada. Em essência, o SEAL funciona como um algoritmo de duas camadas: uma externa, onde o aprendizado por reforço otimiza a geração das autoreditorações, e outra interna, onde essas edições são aplicadas ao modelo via descida de gradiente (*gradient descent*).

Essa abordagem pode ser classificada como um exemplo de *meta-aprendizado* (*meta-learning*), no qual o foco está em como criar autoreditorações eficazes de forma autônoma. O framework opera em uma instância única de tarefa, definida por dois elementos: o contexto (*C*) e a métrica de avaliação (*τ*). Por exemplo, em uma tarefa de integração de conhecimento, o contexto (*C*) poderia ser um texto a ser incorporado ao conhecimento interno do modelo, enquanto *τ* seria um conjunto de perguntas sobre esse texto. A partir do contexto, o modelo gera uma autoreditoração (*SE*), que então atualiza seus parâmetros por meio de *fine-tuning* supervisionado. O aprendizado por reforço entra em cena para otimizar esse processo: o modelo age (gera a autoreditoração), recebe uma recompensa com base no desempenho do modelo ajustado em *τ*, e aprimora sua política para maximizar essas recompensas futuras.

Durante os testes, os pesquisadores perceberam que métodos tradicionais de política online, como o *GRPO* e o *PPO*, resultavam em treinamentos instáveis. Por isso, optaram pelo *ReST^EM*, um método mais simples baseado em filtragem e *behavioral cloning*, desenvolvido pela DeepMind. Essa abordagem funciona como um processo de *Expectation-Maximization* (EM): na etapa E (*Expectation*), o modelo amostra saídas candidatas com base em sua política atual; na etapa M (*Maximization*), ele reforça apenas aquelas amostras que geram recompensas positivas, aplicando *fine-tuning* supervisionado. Além disso, o estudo aponta que, embora a implementação atual utilize um único modelo para gerar e aprender com as autoreditorações, esses papéis poderiam ser separados em um esquema de “professor-aluno” (*teacher-student*), uma estratégia comum em aprendizado de máquina.

Para validar o SEAL, a equipe do MIT aplicou o framework em dois domínios específicos: integração de conhecimento e *few-shot learning* (aprendizado com poucos exemplos). Os resultados experimentais não apenas confirmaram a eficácia do método, como também demonstraram melhorias significativas em comparação com abordagens convencionais. Em tarefas de integração de conhecimento, por exemplo, o SEAL permitiu que o modelo assimilasse novas informações com maior precisão, enquanto no *few-shot learning* ele se mostrou capaz de se adaptar rapidamente a novos contextos com pouquíssimos exemplos. Essa versatil