Escalabilidade de Treinamento

A construção de grandes modelos de linguagem (LLMs) segue diretrizes que otimizam apenas os custos de treinamento, ignorando os custos de inferência. Isso representa um desafio para aplicações reais que utilizam técnicas de escalabilidade no tempo de inferência para aumentar a precisão das respostas do modelo, como gerar múltiplas amostras de raciocínio a partir de um modelo durante a implantação. Para resolver essa lacuna, pesquisadores da Universidade de Wisconsin-Madison e da Universidade de Stanford introduziram as leis de escalabilidade de Treinamento para Teste (T2), um framework que otimiza conjuntamente o tamanho dos parâmetros do modelo, o volume de dados de treinamento e o número de amostras de inferência no tempo de teste.

Na prática, a abordagem desses pesquisadores prova que é computacionalmente ótimo treinar modelos substancialmente menores em vastos volumes de dados do que as regras tradicionais prescrevem, e então utilizar a sobra de capacidade computacional para gerar múltiplas amostras repetidas durante a inferência. Para desenvolvedores de aplicações de inteligência artificial (IA) de empresas que treinam seus próprios modelos, essa pesquisa fornece um plano comprovado para maximizar o retorno sobre o investimento. Ela demonstra que o raciocínio de IA não necessariamente requer gastos enormes em modelos de fronteira. Em vez disso, modelos menores podem produzir desempenhos mais fortes em tarefas complexas, mantendo os custos de inferência por consulta dentro de orçamentos de implantação reais.

As leis de escalabilidade são uma parte importante do desenvolvimento de grandes modelos de linguagem. As leis de escalabilidade de pré-treinamento ditam a melhor maneira de alocar capacidade computacional durante a criação do modelo, enquanto as leis de escalabilidade no tempo de teste orientam como alocar capacidade computacional durante a implantação, como permitir que o modelo “pense por mais tempo” ou gere múltiplas amostras de raciocínio para resolver problemas complexos. O problema é que essas leis de escalabilidade foram desenvolvidas completamente independentemente uma da outra, apesar de estarem fundamentalmente relacionadas. O tamanho dos parâmetros do modelo e a duração do treinamento ditam diretamente a qualidade e o custo por consulta das amostras de inferência.

Atualmente, o padrão de ouro da indústria para pré-treinamento é a regra Chinchilla, que sugere uma razão computacionalmente ótima de aproximadamente 20 tokens de treinamento para cada parâmetro do modelo. No entanto, criadores de famílias de modelos de IA modernos, como Llama, Gemma e Qwen, regularmente quebram essa regra, treinando intencionalmente seus modelos menores em vastas quantidades de dados. De acordo com Nicholas Roberts, autor principal do artigo, a abordagem tradicional falha quando se constrói fluxos de trabalho complexos: “Na minha visão, a pilha de inferência quebra quando cada chamada individual de inferência é cara. Isso ocorre quando os modelos são grandes e você precisa fazer muitas amostras repetidas.” Em vez de confiar em modelos massivos, os desenvolvedores podem usar modelos compactos super-treinados para executar essa amostragem repetida a uma fração do custo.

Porém, porque as leis de escalabilidade de treinamento e tempo de teste são examinadas isoladamente, não há um framework rigoroso para calcular quanto um modelo deve ser super-treinado com base em quantas amostras de raciocínio ele precisará gerar durante a implantação. Consequentemente, não havia uma fórmula que otimizasse conjuntamente o tamanho do modelo, o volume de dados de treinamento e os orçamentos de inferência no tempo de teste. A razão pela qual esse framework é difícil de formular é que o pré-treinamento e a escalabilidade no tempo de teste falam línguas matemáticas diferentes. Durante o pré-treinamento, o desempenho de um modelo é medido usando “perda”, uma métrica contínua suave que rastreia erros de previsão à medida que o modelo aprende.

No tempo de teste, os desenvolvedores usam métricas downstream do mundo real para avaliar as capacidades de raciocínio de um modelo, como pass@k, que mede a probabilidade de um modelo produzir pelo menos uma resposta correta em k tentativas independentes e repetidas. Para resolver a desconexão entre treinamento e implantação, os pesquisadores introduzem as leis de escalabilidade de Treinamento para Teste (T2). Em um alto nível, esse framework prevê o desempenho de raciocínio de um modelo, tratando três variáveis como uma única equação: o tamanho do modelo (N), o volume de tokens de treinamento que ele aprende (D) e o número de amostras de raciocínio que gera durante a inferência (k). “Treinamento para Teste” combina as leis de escalabilidade de pré-treinamento e tempo de teste em um framework unificado.

O T2 combina os orçamentos de pré-treinamento e inferência em uma fórmula de otimização que leva em conta tanto o custo basal para treinar o modelo (6ND) quanto o custo composto para consultar repetidamente durante a inferência (2Nk). Os pesquisadores tentaram diferentes abordagens de modelagem: se modelar a perda de pré-treinamento ou o desempenho no tempo de teste (pass@k) como funções de N, D e k. A primeira abordagem toma a equação matemática familiar usada para a escalabilidade Chinchilla (que calcula o erro de previsão ou perda de um modelo) e a modifica diretamente, adicionando uma nova variável que leva em conta o número de amostras de teste repetidas (k). Isso permite que os desenvolvedores vejam como o aumento da capacidade computacional de inferência reduz a taxa de erro geral do modelo.

A segunda abordagem modela diretamente a precisão downstream pass@k. Ela relaciona a precisão do modelo com o tamanho do