NVIDIA acelera geração de imagens com MXFP8 e NVFP4
Os modelos de difusão para geração de imagens e vídeos têm ganhado enorme popularidade, produzindo mídias visuais hiper-realistas. No entanto, sua adoção ainda enfrenta obstáculos devido aos altos requisitos de memória e processamento. A quantização é fundamental para viabilizar a execução eficiente desses modelos em ambientes de produção. Recentemente, a NVIDIA demonstrou melhorias significativas no desempenho de inferência em modelos como Flux.1-Dev, QwenImage e LTX-2, utilizando as GPUs B200 com os formatos de microscaling MXFP8 e NVFP4. Os testes revelaram acelerações de até 1,26x com MXFP8 e impressionantes 1,68x com NVFP4, combinados com as ferramentas Diffusers e TorchAO. Além disso, a empresa detalhou técnicas como quantização seletiva, uso de CUDA Graphs e métricas LPIPS para equilibrar desempenho e qualidade.
MXFP8 e NVFP4 são formatos de microscaling nativos da arquitetura Blackwell da NVIDIA, presente em GPUs como a B200. Diferentemente da quantização tradicional, que aplica escalonamento a todo um tensor, o microscaling divide elementos em blocos menores (geralmente 16 ou 32 valores) que compartilham um fator de escala de alta precisão. Essa abordagem permite reduzir a profundidade de bits sem comprometer a faixa dinâmica e a acurácia dos resultados. Para replicar os experimentos, os desenvolvedores podem utilizar ambientes virtuais com versões específicas do PyTorch, TorchAO e MSLK, disponíveis nas noites de desenvolvimento no momento da publicação. É importante autenticar-se na Hugging Face Hub antes de executar os exemplos, garantindo acesso aos modelos necessários.
A integração do NVFP4 com o TorchAO no Diffusers é simples e direta. Basta configurar a quantização para cada camada do tipo torch.nn.Linear, o que otimiza automaticamente o modelo para execução na GPU B200. Os testes utilizaram compilação regional com fullgraph=True, uma técnica que reduz consideravelmente o tempo de compilação sem sacrificar a qualidade dos resultados. Essa abordagem é especialmente útil para modelos grandes, como os de geração de imagens, onde a compilação completa pode ser inviável em ambientes de produção.
Os parâmetros de inferência para o modelo FLUX.1-dev incluíram configurações específicas para medir latência e consumo de memória. Com quantização seletiva — que exclui camadas críticas da quantização — os resultados mostraram melhorias de até 1,26x com MXFP8 e 1,59x com NVFP4. Essa estratégia é crucial para modelos sensíveis à perda de precisão, como o QwenImage, que apresentou um escore LPIPS médio de 0,34 com MXFP8, contra apenas 0,11 no Flux-1.Dev. A combinação de quantização seletiva com o torch.compile no modo ‘reduce-overhead’ permitiu maximizar o desempenho sem degradar significativamente a qualidade das imagens geradas.
A avaliação de acurácia foi conduzida por meio da métrica LPIPS, que compara a similaridade perceptual entre as imagens geradas com os formatos quantizados e a baseline em bfloat16. Um escore LPIPS de zero indica imagens idênticas, enquanto valores mais baixos representam maior semelhança. Nos testes com o Flux.1-dev, tanto MXFP8 quanto NVFP4 produziram resultados próximos ao baseline, com o NVFP4 apresentando pequenas variações perceptíveis. Para o LTX-2, foi necessário habilitar o recorte (tiling) no VAE para manter os requisitos de memória dentro de limites aceitáveis, um ajuste comum em modelos de geração de vídeo.
Os resultados com o LTX-2 também demonstraram melhorias consideráveis, embora a avaliação de vídeos ainda seja um campo aberto para pesquisas futuras. Enquanto os escores LPIPS para imagens foram calculados sobre um conjunto de prompts do Drawbench, a análise de vídeos requer métricas adicionais e datasets mais robustos. A NVIDIA deixou claro que estudos mais aprofundados sobre a qualidade de vídeos gerados com NVFP4 estão planejados para trabalhos posteriores, indicando um foco contínuo em otimizar modelos multimodais.
A sensibilidade do QwenImage à quantização reforçou a importância da abordagem seletiva. Enquanto modelos como o Flux.1-dev toleram bem a redução de precisão, outros exigem cuidados extras para evitar artefatos visuais. A empresa sugeriu que técnicas avançadas, como GPTQ ou QAT (Quantization-Aware Training), poderiam ser exploradas em estudos futuros para reduzir ainda mais os escores LPIPS no QwenImage. Essa flexibilidade é essencial para adaptar os formatos de quantização a diferentes arquiteturas de modelos de difusão.
Por fim, a combinação de CUDA Graphs com a quantização seletiva mostrou-se uma estratégia poderosa para otimizar pipelines de inferência. Os CUDA Graphs permitem encapsular sequências de operações em grafos otimizados, reduzindo a sobrecarga de lançamentos de kernels e melhorando a eficiência geral. Quando integrados ao TorchAO e Diffusers, esses grafos possibilitaram ganhos de desempenho significativos sem comprometer a qualidade das saídas. A NVIDIA destacou que essa abordagem é especialmente benéfica em ambientes de produção, onde a latência e o throughput são críticos.
