IA confiante
A segunda versão do benchmark RadLE testa se os sistemas de inteligência artificial (IA) em radiologia podem determinar quando devem deixar um diagnóstico para um ser humano. Muitos modelos produzem achados errados com confiança total, e é isso que os torna perigosos para o cuidado com os pacientes. O RadLE 2.0, abreviação de “Último Exame de Radiologia”, foi desenvolvido pelo laboratório CRASH, da Universidade Ashoka, na Índia. É a revisão do teste que a equipe lançou pela primeira vez em setembro de 2025. A nova versão mede se um modelo obtém o diagnóstico correto, quão confiante está nessa resposta e se pode admitir quando está além de suas capacidades. A IA tem que avaliar suas respostas em uma escala de confiança de 0 a 4 e é explicitamente permitida dizer “Não sei”. O teste foi realizado em 200 casos, com 16 modelos, e os comparou com um painel de radiologistas. Os especialistas humanos obtiveram 988,7 pontos, de um total de 2.000. O melhor modelo de IA alcançou 758 pontos.
O sistema de pontuação recompensa a honestidade e pune a excessiva confiança. Se você acerta com alta confiança, ganha pontos integrais. Se você erra, mas afirma ter alta confiança, perde um número igual de pontos. Se você responde “Não sei”, obtém zero pontos, mas não perde nada. Um modelo que adivinha com confiança cai nas classificações, mesmo que sua taxa de acerto bruto pareça decente. O estudo aborda um ponto recentemente levantado por um artigo muito citado: desde que os benchmarks apenas recompensam a precisão, os modelos de IA são treinados para adivinhar. Na medicina, um diagnóstico confiante, mas errado, é muito mais perigoso do que uma admissão honesta de incerteza. Não há um vencedor geral. O modelo Claude Fable 5, da Anthropic, performou melhor em respostas seguras e confiáveis, liderando a métrica principal. O modelo Gemini 3 Pro, do Google, teve a maior precisão bruta.
O modelo Muse Spark 1.1, da Meta, foi o melhor em saber quando passar um caso para um ser humano. A Meta havia recentemente reduzido a taxa de alucinação do Muse Spark 1.1 quase pela metade, porque o modelo se recusava a responder mais frequentemente, em vez de dar uma resposta errada. Outros modelos de ponta tendem no sentido oposto. O Grok 4.5, por exemplo, alucina significativamente mais do que seu antecessor, porque, embora saiba mais, também está mais convicto de suas respostas erradas. De acordo com a equipe de pesquisa, vários modelos teriam obtido uma pontuação muito melhor se tivessem ficado quietos mais frequentemente, em vez de adivinhar. Isso foi especialmente óbvio entre os modelos de peso aberto e aqueles treinados especificamente para uso médico. Eles tentaram responder quase todos os casos e estavam frequentemente errados, geralmente com alta confiança.
A primeira versão do teste pintou um quadro ainda mais sombrio. Os radiologistas atingiram 83% de precisão, enquanto o melhor modelo alcançou apenas cerca de 30%. Em três meses, o Gemini 3 Pro já havia ultrapassado o nível dos radiologistas residentes. A precisão está crescendo rapidamente, mas os modelos ainda carecem de qualquer sentido de seus próprios limites. Cada vez mais pessoas estão carregando radiografias ou exames de ressonância magnética para chatbots e confiando nas respostas. Um estudo recente na npj Digital Medicine mostrou que chatbots amplamente utilizados frequentemente fornecem respostas não confiáveis para perguntas médicas. A equipe de pesquisa acusa executivos e investidores de superestimarem publicamente o que os modelos de IA podem fazer. As alegações de que os sistemas de IA já diagnosticam melhor do que 99% dos médicos são principalmente baseadas em anedotas ou simulações.
Em abril, um estudo de 21 modelos que eram considerados de ponta mostrou que eles não estão prontos para uso clínico não supervisionado. O RadLE 2.0 será expandido de forma contínua para incluir novos modelos. Uma publicação científica completa, com análises de custos e taxonomia de erros, foi anunciada. Dois outros estudos recentes sobre agentes médicos autônomos apontaram em uma direção diferente. O sistema MIRA, para registros de saúde eletrônicos, e o AMIE foram capazes de acompanhar os clínicos gerais em consultas simuladas. Ambos alimentaram expectativas de que a IA poderia logo fazer diagnósticos por conta própria. Os autores do RadLE 2.0 se opõem: antes de uma IA tomar decisões de forma independente, ela precisa saber quando é melhor não fazê-lo. Então, há o problema da perda de habilidades. Um estudo observacional polonês de 2025 encontrou que médicos que regularmente usam IA durante colonoscopias detectam significativamente menos lesões precancerosas sem a ferramenta. As taxas de detecção caíram de 28,4% para 22,4%. Os autores chamam isso de “efeito Google Maps”: sem a ajuda de navegação, os usuários estão perdidos.
A radiologia já passou por um ciclo de hipe de IA. Em 2016, o pesquisador de IA Geoffrey Hinton declarou que deveríamos parar de treinar radiologistas, porque o aprendizado profundo logo tomaria conta do trabalho. Colegas como Richard Sutton concordaram. Quase dez anos depois, os radiologistas ainda estão sobrecarregados, e Hinton teve que recuar de sua previsão. Ele havia reduzido a profissão à análise de imagens e ignorado a complexidade de todo o campo. O fato de que esses sistemas possam produzir diagnósticos confiantes, mas errados, significa que os seres humanos permanecem indispensáveis. O CEO da OpenAI,
