MIT lança SEAL: IA que aprende sozinha

O Instituto de Tecnologia de Massachusetts (MIT) apresentou recentemente um novo framework chamado SEAL, que permite que modelos de linguagem de grande porte se autoeditem e atualizem seus próprios pesos por meio de aprendizado por reforço. Essa inovação representa mais um avanço significativo rumo ao desenvolvimento de sistemas de inteligência artificial verdadeiramente autossuficientes. A pesquisa, publicada recentemente, tem gerado discussões intensas em comunidades como o Hacker News e coloca o MIT na vanguarda das discussões sobre IA autossuficiente. O SEAL surge em um momento crucial, quando a comunidade científica mundial intensifica os estudos sobre sistemas capazes de evoluir automaticamente.

O conceito de autoaperfeiçoamento em IA tem ocupado cada vez mais espaço nos círculos acadêmicos e tecnológicos. Recentemente, várias pesquisas inovadoras ganharam destaque, como o projeto “Darwin-Gödel Machine” da Universidade da Colúmbia Britânica e Sakana AI, o framework “Self-Rewarding Training” da Universidade Carnegie Mellon, além de iniciativas chinesas como o “MM-UPT” para modelos multimodais e o “UI-Genie” da Universidade Chinesa de Hong Kong. Esses desenvolvimentos refletem uma tendência global de busca por sistemas de IA que possam se adaptar e evoluir continuamente sem intervenção humana constante.

O CEO da OpenAI, Sam Altman, também entrou na discussão ao publicar recentemente um artigo intitulado “A Singularidade Gentil”, onde ele explora a possibilidade de robôs humanoides que, após a fabricação inicial, seriam capazes de operar toda a cadeia produtiva para criar mais unidades. Essa visão foi reforçada por uma postagem no X (antigo Twitter) que alegava que a OpenAI já estaria testando internamente sistemas de IA que se autoaperfeiçoam recursivamente, embora essas informações ainda sejam objeto de debate. Independentemente das especulações sobre os projetos da OpenAI, o trabalho do MIT com o SEAL traz evidências concretas do progresso nessa direção.

A essência do SEAL está em permitir que modelos de linguagem melhorem seu desempenho ao encontrar novos dados. O sistema consegue gerar seus próprios dados sintéticos e otimizar seus parâmetros por meio de autoedição. O objetivo principal é que o modelo aprenda a criar essas autoedições (SEs) usando apenas as informações disponíveis em seu contexto. Esse processo de aprendizado ocorre através de aprendizado por reforço, onde o modelo recebe recompensas quando suas autoedições resultam em melhor desempenho na tarefa alvo.

Do ponto de vista técnico, o SEAL pode ser compreendido como um algoritmo com dois loops aninhados: um loop externo de aprendizado por reforço que otimiza a geração das autoedições, e um loop interno de atualização que aplica essas autoedições ao modelo por meio de descida de gradiente. Essa abordagem se alinha ao conceito de meta-aprendizado, onde o foco está em como gerar edições efetivas de forma automatizada. Essa estrutura permite que o modelo não apenas processe informações, mas também aprenda a melhorar a si mesmo de maneira contínua.

O funcionamento do SEAL é baseado em uma instância de tarefa única (C, τ), onde C representa as informações de contexto relevantes para a tarefa, e τ define a avaliação downstream para medir a adaptação do modelo. Por exemplo, em uma tarefa de integração de conhecimento, C poderia ser um trecho de texto a ser integrado ao conhecimento interno do modelo, enquanto τ seria um conjunto de questões sobre esse texto. A partir do contexto C, o modelo gera uma autoedição SE, que então atualiza seus parâmetros por meio de ajuste fino supervisionado: θ′ ← SFT(θ,SE). O aprendizado por reforço é empregado para otimizar essa geração de autoedições: o modelo realiza uma ação (gera SE), recebe uma recompensa r baseado no desempenho de LMθ′ em τ, e atualiza sua política para maximizar a recompensa esperada.

Os pesquisadores observaram que métodos tradicionais de política online como GRPO e PPO levaram a treinamentos instáveis. Por isso, optaram pelo ReST^EM, uma abordagem mais simples baseada em filtragem de aprendizado por imitação, derivada de um trabalho da DeepMind. Essa técnica funciona como um processo de Expectation-Maximization (EM), onde a etapa E amostra saídas candidatas da política atual do modelo, e a etapa M reforça apenas aquelas amostras que produzem recompensas positivas por meio de ajuste fino supervisionado. O artigo também menciona que, embora a implementação atual utilize um único modelo para gerar e aprender com as autoedições, essas funções poderiam ser separadas em uma configuração de “professor-aluno”.

O time do MIT implementou o SEAL em dois domínios específicos: integração de conhecimento e aprendizado few-shot (aprendizado com poucos exemplos). Os resultados experimentais em ambas as áreas demonstraram a eficácia da abordagem. No caso do aprendizado few-shot, o modelo conseguiu se adaptar rapidamente a novas tarefas com apenas alguns exemplos, enquanto na integração de conhecimento, o sistema mostrou capacidade de incorporar novos dados ao seu conhecimento prévio de forma eficiente. Esses resultados sugerem que o SEAL pode ser uma ferramenta poderosa para tornar os modelos de linguagem mais adaptáveis e atualizados.

A publicação do SEAL representa um marco importante no desenvolvimento de IA autossuficiente, oferecendo uma abordagem prática e testada para que os modelos possam melhorar continuamente sua performance. Enquanto a comunidade aguarda por mais detalhes e possíveis aplicações comerciais, a pesquisa do MIT abre novas perspectivas para o futuro da inteligência artificial. Com sistemas capazes de se autoeditar e se atualizar, estamos cada vez mais próximos de uma era onde a IA não apenas processa informações, mas também aprende e evolui de forma independente. Essa evolução promete transformar não apenas a tecnologia, mas também a forma como interagimos com os sistemas inteligentes ao nosso redor.