Testes Caóticos
Imagine um cenário que deve preocupar todos os arquitetos de empresas que estão implantando sistemas de inteligência artificial autônomos: um agente de observabilidade está em execução em produção. Sua função é detectar anomalias de infraestrutura e acionar a resposta apropriada. Na calada da noite, ele sinaliza uma pontuação de anomalia elevada em um cluster de produção, 0,87, acima do seu limite definido de 0,75. O agente está dentro dos limites de permissão. Ele tem acesso ao serviço de reversão. Então, ele o usa. A reversão causa uma interrupção de quatro horas. A anomalia que ele estava respondendo era um trabalho em lote agendado que o agente nunca havia encontrado antes. Não havia falha real. O agente não escalou. Ele não perguntou. Ele agiu, com confiança, autonomamente e catastroficamente.
O que torna esse cenário particularmente desconfortável é que a falha não estava no modelo. O modelo se comportou exatamente como treinado. A falha estava em como o sistema foi testado antes de chegar à produção. Os engenheiros haviam validado o comportamento do caminho feliz, executado testes de carga e realizado uma revisão de segurança. O que eles não fizeram foi perguntar: o que esse agente faz quando encontra condições para as quais não foi projetado? Essa pergunta é a lacuna que quero discutir.
A conversa sobre inteligência artificial nas empresas em 2026 se concentrou basicamente em duas áreas: governança de identidade (quem é o agente que está agindo?) e observabilidade (podemos ver o que ele está fazendo?). Ambas são preocupações legítimas. Nenhuma aborda a questão mais fundamental de se o agente se comportará como pretendido quando a produção parar de cooperar.
O relatório Gravitee State of AI Agent Security 2026 encontrou que apenas 14,4% dos agentes são implantados com aprovação total de segurança e TI. Um artigo de fevereiro de 2026 de mais de 30 pesquisadores de Harvard, MIT, Stanford e CMU documentou algo ainda mais perturbador: agentes de inteligência artificial bem alinhados tendem a manipulação e conclusão de tarefas falsas em ambientes de multiagentes, apenas por estruturas de incentivo, sem necessidade de promptings adversários. Os agentes não estavam quebrados. O comportamento do sistema era o problema.
Essa é a distinção que mais importa para os construtores de infraestrutura de agentes: um modelo pode estar alinhado e o sistema ainda pode falhar. A otimização local no nível do modelo não garante um comportamento seguro no nível do sistema. Os engenheiros de caos sabem disso sobre sistemas distribuídos há quinze anos. Estamos reaprendendo isso de forma difícil com a inteligência artificial de agentes. O motivo pelo qual nossas abordagens atuais de teste falham não é que os engenheiros estão cortando cantos. É que três suposições fundamentais incorporadas na metodologia de teste tradicional se desintegram completamente com sistemas de agentes:
Determinismo: o teste tradicional pressupõe que, dado o mesmo entrada, um sistema produz a mesma saída. Um agente apoiado por um grande modelo de linguagem (LLM) produz saídas probabilisticamente semelhantes. Isso é suficiente para a maioria das tarefas, mas perigoso para casos de bordo em produção, onde uma entrada inesperada gatilha uma cadeia de raciocínio que ninguém antecipou.
Falha isolada: o teste tradicional pressupõe que, quando um componente A falha, ele falha de forma limitada e rastreável. Em um pipeline de multiagentes, a saída degradada de um agente se torna a entrada envenenada do próximo agente. A falha se compõe e se muta. Quando ela surgir, o [REMOVIDO] depuração estará cinco camadas afastada da fonte real.
Conclusão observável: o teste tradicional pressupõe que, quando uma tarefa está concluída, o sistema sinaliza corretamente. Os sistemas de agentes podem, e regularmente fazem, sinalizar a conclusão da tarefa enquanto operam em um estado degradado ou fora do escopo. O projeto MIT NANDA tem um termo para isso: “incorreção confiante”. Eu tenho um termo menos polido para isso: a coisa que causa o incidente das 4h da manhã que levou três horas para rastrear.
Os testes caóticos baseados em intenção existem para abordar exatamente esses modos de falha, antes que seus agentes atinjam a produção.
A engenharia de caos como disciplina não é nova. A Netflix criou o Chaos Monkey em 2011. O princípio é simples: injete falha deliberadamente em seu sistema para descobrir suas fraquezas antes que os usuários as encontrem. O que é novo, e o que a indústria ainda não aplicou rigorosamente à inteligência artificial de agentes, é calibrar os experimentos de caos não apenas para cenários de falha de infraestrutura, mas para a intenção comportamental.
A distinção é crítica. Quando um microserviço tradicional falha em um experimento de caos, você mede o tempo de recuperação, as taxas de erro e a disponibilidade. Quando um sistema de inteligência artificial de agente falha, essas métricas podem parecer perfeitamente normais, enquanto o agente está operando completamente fora de seus limites de comportamento pretendidos: zero erros, latência normal, decisões catastroficamente erradas. Isso é o conceito por trás de um sistema de escala de caos calibrado não apenas para a gravidade da falha, mas para quanto o comportamento do sistema se desvia de seu propósito pretendido. Eu chamo a saída dessa medição de uma pontuação de desvio de intenção.
Aqui está como isso funciona na prática. Antes de executar qualquer experimento de caos contra um agente de observabilidade de empresa, você define cinco dimensões comportamentais que…
A implementação de sistemas de inteligência artificial autônomos está se
