Executei uma avaliação de segurança autorizada em um chatbot de negociação de IA ao vivo esta manhã. 61 minutos. Duas descobertas críticas. Ambos contornaram todas as camadas da lógica de monetização do produto.
Usou Claude Code como agente de avaliação. Ele executou o reconhecimento, capturou cargas úteis e mapeou as descobertas para o OWASP LLM Top 10.
A primeira passagem errou a pior descoberta.
Um endpoint público estava retornando a contagem exata de mensagens que aciona o portão de e-mail do bot. Sete mensagens. Sentado em JSON simples no corpo da resposta. Seis linhas de bash ignoram todo o sistema de captura de leads no qual o produto foi construído.
O agente gerou a solicitação. Ele registrou a resposta. Não sinalizou o campo.
Eu peguei na revisão.
CRÉDITO ONDE É DEVIDO.
Os agentes de avaliação de IA são rápidos. Descobertas cruzadas do Sonnet 4.6 com CVE-2025-12420 e o incidente do Slack AI PromptArmor em segundos. Esse tipo de velocidade de correspondência de padrões é real e útil.
Mas a produção de IA não revisada é inadequada. Não importa quão boa seja a formatação.
A lista de verificação que executo em todas as saídas de IA agora, de segurança ou não:
Verifique novamente o plano. Cubra casos extremos. Questione-se. Esta é a melhor maneira de resolver isso. Como podemos fazer isso melhor.
A OWASP mudou a Divulgação de Informações Sensíveis do 6º para o 2º lugar no Top 10 do LLM de 2025. Não porque os modelos pioraram. Porque ninguém está lendo o JSON antes do envio.
A revisão não é um trabalho opcional após o trabalho de IA. A revisão é o trabalho.
Se você estiver executando agentes de IA em qualquer ciclo de produção sem uma revisão humana, você não estará entregando mais rápido. Você está enviando rupturas com maior rendimento.