Estudo do MIT
Um estudo realizado por pesquisadores do Instituto de Tecnologia de Massachusetts (MIT) explica por que a escalabilidade dos modelos de linguagem funciona de forma tão confiável. A resposta está relacionada a um fenômeno chamado de superposição. A observação de que modelos maiores têm um desempenho melhor é uma das descobertas mais consistentes na pesquisa de inteligência artificial. Se você dobrar os parâmetros, os dados de treinamento ou a capacidade de processamento, o erro de previsão do modelo de linguagem diminui de acordo com uma lei de potência. Essas chamadas “Leis de Escalabilidade Neural” impulsionam a construção de sistemas cada vez maiores. No entanto, nunca foi explicado por que elas existem em primeiro lugar.
O estudo, apresentado no NeurIPS 2025 por Yizhou Liu, Ziming Liu e Jeff Gore, do MIT, rastreia o fenômeno até uma propriedade geométrica construída nos próprios modelos: a superposição. Os modelos de linguagem precisam ajustar dezenas de milhares de tokens e significados abstratos em um espaço interno que tem apenas algumas centenas de dimensões. Em teoria, um espaço tridimensional pode conter apenas três conceitos sem interferência. Os modelos de linguagem maiores superam essa limitação armazenando muitos conceitos simultaneamente nas mesmas dimensões. Os vetores resultantes se sobrepõem ligeiramente. Essa compressão de múltiplos significados em um espaço muito pequeno é o que os pesquisadores chamam de superposição. Até agora, muitas explicações supunham que apenas os conceitos mais comuns são representados de forma clara, enquanto o restante é perdido (“superposição fraca”). A equipe do MIT mostra, usando um modelo simplificado da Anthropic, que essa visão não corresponde à forma como os modelos de linguagem reais funcionam.
Os pesquisadores construíram um modelo de inteligência artificial simplificado com um controle de treinamento que permitia controlar a sobreposição dos conceitos armazenados. Isso tornou possível comparar dois casos extremos. No primeiro caso – a superposição fraca – o modelo armazena apenas os conceitos mais comuns de forma clara e ignora o restante. O erro de previsão aqui vem principalmente dos conceitos raros que são descartados. Se o desempenho escala de forma limpa como uma lei de potência depende de como os conceitos são distribuídos nos dados de treinamento. Apenas quando essa distribuição segue uma lei de potência é que o erro também segue uma. O artigo chama isso de “lei de potência de entrada, lei de potência de saída”. No segundo caso – a superposição forte – o modelo armazena todos os conceitos ao mesmo tempo, permitindo que seus vetores se sobrepõem ligeiramente. O erro não vem mais de conceitos perdidos, mas do ruído criado por essas sobreposições. Aqui, um padrão robusto emerge: dobrar a largura do modelo reduz aproximadamente pela metade o erro, previsto por uma simples relação geométrica (1/m, onde m é a largura do modelo). Como os conceitos são distribuídos nos dados quase não importa mais.
Para verificar qual regime se aplica a sistemas reais, a equipe examinou as camadas de saída de modelos de código aberto: OPT, GPT-2, Qwen2.5 e Pythia, variando de aproximadamente 100 milhões a 70 bilhões de parâmetros. O resultado é claro: todos os tokens são representados no modelo, seus vetores se sobrepõem e a intensidade dessas sobreposições diminui exatamente na proporção prevista de 1/m. Os modelos de linguagem operam no regime de superposição forte. O expoente de escalabilidade medido também coincide, chegando a 0,91, próximo ao valor teórico de 1. Os dados do Chinchilla da Deepmind produzem um valor quase idêntico de 0,88. De acordo com os pesquisadores, essas leis de escalabilidade decorrem diretamente de como os modelos de linguagem organizam o significado geometricamente dentro de suas representações.
O trabalho fornece respostas concretas a duas perguntas abertas na pesquisa de inteligência artificial. Primeiro: a escalabilidade eventualmente deixa de funcionar? De acordo com os pesquisadores, sim, uma vez que a largura do modelo atinge o tamanho de seu vocabulário. Nesse ponto, há espaço suficiente para representar todos os tokens sem sobreposição, e o erro causado por representações apertadas desaparece. A lei de potência se quebra nessa fronteira. Segundo: é possível acelerar as leis de escalabilidade para extrair mais desempenho de cada parâmetro adicionado? Para a linguagem natural, provavelmente não; as distribuições de frequência de palavras são relativamente planas. Mas para aplicações especializadas onde os conceitos relevantes são distribuídos de forma muito desigual, uma escalabilidade mais acentuada pode ser possível.
Isso também tem implicações para o design de arquiteturas: modelos que ativamente incentivam a superposição devem ter um desempenho melhor no mesmo tamanho. Um exemplo é o nGPT da Nvidia, que força os vetores internos para uma esfera unitária, empacotando-os de forma mais densa. No entanto, há uma armadilha: quanto mais os conceitos se sobrepõem, mais difícil fica rastrear o que está realmente acontecendo dentro do modelo. Isso é um problema real para a interpretabilidade mecanística e, por extensão, para a pesquisa de segurança da inteligência artificial. Além disso, a compreensão das leis de escalabilidade pode ajudar a melhorar a eficiência dos modelos de linguagem, tornando-os mais rápidos e menos intensivos em termos de recursos computacionais.
Em resumo, o estudo do MIT fornece uma explicação clara para o porquê da escalabilidade dos modelos de linguagem funcionar de forma tão confiável. A superposição é a chave para entender como os modelos de linguagem organizam o significado geometricamente dentro de suas representações. Com essa compreensão, os pesquisadores
