IA tem dificuldade com gráficos complexos, mostra novo teste
Um novo estudo revelou que até os modelos de IA mais avançados perdem cerca de metade de sua performance ao lidar com gráficos complexos. A descoberta faz parte do RealChart2Code, um teste desenvolvido por pesquisadores de universidades chinesas que avalia a capacidade de IA de transformar imagens e dados em código funcional. Enquanto modelos conseguem facilmente replicar gráficos simples, como barras ou linhas, eles enfrentam grandes dificuldades quando o desafio envolve visualizações multicamadas, múltiplos tipos de dados ou estruturas elaboradas. Isso indica que, apesar dos avanços recentes, a inteligência artificial ainda tem limitações significativas em tarefas que exigem precisão técnica e interpretação de dados reais.
O RealChart2Code testou 14 modelos de IA, incluindo cinco proprietários e nove de código aberto. Os pesquisadores criaram mais de 2.800 casos de teste baseados em datasets reais do Kaggle, abrangendo 50 tipos diferentes de gráficos e mais de 860 milhões de linhas de dados. Diferentemente de benchmarks anteriores, que usavam dados sintéticos ou gráficos isolados, esta avaliação incluiu layouts compostos, arquivos grandes e situações próximas da realidade. Os modelos foram avaliados em três tarefas: replicar um gráfico a partir de uma imagem, reproduzir um gráfico a partir de dados brutos e refinar código quebrado em um fluxo de trabalho interativo. A ideia era simular cenários reais onde desenvolvedores ou analistas precisam gerar ou corrigir visualizações automaticamente.
Entre os modelos proprietários, o Claude 4.5 Opus da Anthropic obteve a melhor pontuação média (8,2 em uma escala de oito critérios de precisão visual), seguido pelo Gemini 3 Pro Preview do Google (8,1). O GPT-5.1 da OpenAI ficou bem atrás, com 5,4 pontos. Quando se trata de modelos abertos, o desempenho foi ainda mais decepcionante: o Qwen3-VL-235B e o Intern-VL-3.5-241B atingiram apenas 3,6 e 3,4 pontos, respectivamente — menos da metade do que os líderes proprietários alcançaram. Um dos menores modelos testados, o DeepSeek-VL-7B, obteve uma taxa de aprovação de apenas 9,7% na tarefa de replicação de gráficos, ou seja, em mais de 90% dos casos o código gerado não funcionava.
A principal conclusão dos pesquisadores é o chamado “gap de complexidade”: modelos que se destacam em testes simples entram em colapso no RealChart2Code. Por exemplo, o Gemini 3 Pro Preview acerta mais de 96% no ChartMimic, um benchmark tradicional, mas cai para cerca de 50% no novo teste. A queda é ainda mais acentuada nos modelos de código aberto: o Qwen3-VL-235B atinge 85% no ChartMimic, mas menos de 25% no RealChart2Code. Isso sugere que, embora esses sistemas sejam treinados com grandes volumes de dados, eles não estão preparados para lidar com a complexidade do mundo real.
As análises de erro revelaram dois padrões distintos de falha. Os modelos abertos, como o Qwen3-VL e o InternVL, costumam quebrar durante a execução do código, inventando bibliotecas inexistentes ou chamando funções inválidas. Em cerca de 20% dos casos, o Qwen3-VL-235B gera chamadas de API incorretas, como usar parâmetros inexistentes no Matplotlib. Quando o código roda, problemas de layout aparecem, como subplots sobrepostos ou estruturas de grade quebradas. Já os modelos proprietários, como o Claude 4.5 e o GPT-5.1, raramente cometem erros de sintaxe. Seu ponto fraco está na atribuição de dados: a estrutura visual parece correta, mas séries de dados acabam em eixos errados ou atributos visuais não correspondem ao especificado.
Ainda há um terceiro desafio: a refinação iterativa. Os pesquisadores identificaram um fenômeno chamado “edição regressiva”, onde, ao corrigir um erro, o modelo acaba quebrando partes anteriormente corretas do código. Mesmo os melhores sistemas têm dificuldade em equilibrar edições locais com a consistência geral do código. Isso é especialmente crítico em ambientes de desenvolvimento onde múltiplas iterações são necessárias para atingir o resultado desejado. O estudo destaca que, embora a IA seja capaz de gerar código inicial, sua utilidade cai drasticamente quando é preciso ajustes finos ou correções em tempo real.
Para avaliar os resultados, a equipe usou um sistema multiagente que classifica as visualizações geradas em três níveis, considerando oito critérios: tipo de gráfico, layout espacial, elementos de texto, configuração de eixos e esquema de cores. As avaliações automatizadas tiveram forte correlação com julgamentos de especialistas humanos, alcançando um coeficiente Kappa de Cohen de 0,83. A concordância entre os agentes de avaliação também foi alta, com um Kappa de Fleiss de 0,82. Contudo, os pesquisadores reconhecem que o benchmark ainda tem limitações, como restringir-se ao Matplotlib como biblioteca de visualização e não detectar artefatos visuais sutis, como sobreposições mínimas de elementos ou nuances de cores.
Projetos como o PaperBanana do Google já haviam demonstrado quão difícil é para IA gerar gráficos sofisticados. Nesse caso, cinco agentes especializados trabalham juntos para criar gráficos científicos a partir de descrições em texto. A fidelidade visual atingiu 45,8%, abaixo do padrão humano, mas revisores preferiram os resultados em 73% dos casos quando comparados a imagens estáticas. Para gráficos estatísticos, o PaperBanana também recorre à geração de código Matplotlib para melhorar a precisão numérica. Esses achados reforçam que, embora a IA
