Ver todas as ações
não basta

Trinta mil não é a medida de controle

Em 17 de setembro, a Anthropic apresentou três instrumentos para observar o próprio desenvolvimento de IA: um índice de automação da pesquisa, métricas de supervisão dos agentes e uma classificação do uso de computação. O relatório informa que, em agosto, aproximadamente 30 mil agentes trabalhavam simultaneamente em sua plataforma interna mais usada para pesquisa e engenharia. É uma escala relevante. Não é, sozinha, evidência de que 30 mil decisões estavam certas ou de que 30 mil trajetórias poderiam ser compreendidas por uma pessoa.

O Korvo já havia separado execução de descoberta ao analisar o “estagiário” automatizado da OpenAI. A novidade aqui é outra: a Anthropic está tentando construir uma régua para descrever quanto trabalho foi delegado e como esse trabalho é observado. A pergunta de engenharia é se a régua mede o fenômeno que seu nome sugere. Uma ação passar por um monitor, um alerta ser produzido e uma intervenção acontecer a tempo são eventos diferentes.

Como nasce o índice de automação

Para estimar a participação de Claude na pesquisa, a empresa não contou tokens nem sessões. Amostrou registros de trabalho de 20% dos funcionários por semana em cada departamento envolvido no ciclo de desenvolvimento de modelos, durante julho. Agentes organizaram cerca de 15 mil tarefas em uma árvore de 542 nós, com 378 categorias finais. Outro Claude atribuiu a cada tipo de tarefa um nível entre zero, sem IA, e cinco, autonomia completa. A ponderação usa o tempo humano dedicado a cada tarefa como aproximação de importância.

O resultado divulgado é que Claude “lidera” 26% do trabalho medido, isto é, faz a maior parte de uma tarefa a partir de uma orientação de alto nível, sob supervisão humana. Em mais de 90%, ele pelo menos “colabora”. A própria Anthropic diz que nenhuma parcela medida chegou ao nível cinco. Portanto, 26% não significa que Claude escolhe a agenda de pesquisa, treina seu sucessor sozinho ou produz 26% das descobertas. Significa que, sob uma taxonomia e pesos definidos pela empresa, aquela parcela do trabalho recebeu classificação de liderança agentiva.

A medição tem um ponto frágil assumido no próprio método: Claude pesquisa as evidências e outro Claude julga o grau de automação. Responsáveis humanos discordaram entre si sobre casos de fronteira, e o laboratório promete atualizar periodicamente a árvore de tarefas. Isso não torna o número inútil. Torna versão da taxonomia, critérios de classificação, amostra e revisão independente partes obrigatórias de qualquer comparação futura.

O que significa cobrir 100% das ações

Na plataforma interna examinada, a Anthropic afirma que todas as ações dos agentes passam por um monitor online antes de executar e entram em outro monitor offline depois. O primeiro pode bloquear ou redirecionar uma ação que exige reação imediata. O segundo procura padrões que aparecem ao longo de conversas e tarefas. Em agosto, o monitor online bloqueou 0,002% de mais de um bilhão de decisões analisadas. O pipeline offline sinaliza cerca de uma ou duas transcrições por mil; os casos de maior prioridade, aproximadamente cinquenta por semana, chegam à revisão humana.

Cobertura de passagem é uma propriedade da arquitetura: o caminho de execução atravessa o sensor. Ela não informa a sensibilidade do classificador diante de um abuso real, quantos falsos positivos desviam revisores, quanto tempo passa entre um sinal e uma contenção ou se outra plataforma ficou fora da amostra. A empresa limita explicitamente esses números à plataforma interna mais usada. “100%” ali não descreve todos os agentes da Anthropic nem prova que todo comportamento perigoso foi detectado.

Computação também precisa de denominador

O terceiro instrumento separa cargas de capacidade e segurança. Em uma semana de julho, a Anthropic classificou cerca de 6% da computação de pesquisa e desenvolvimento de IA como dedicada à segurança; entre as cargas de P&D conduzidas por IA, a estimativa foi de 12%. O classificador usou metadados de jobs, código e transcrições, com revisão de uma amostra das execuções de treinamento e avaliação. Trabalho que beneficiava igualmente capacidade e segurança foi contado fora da categoria de segurança, uma escolha conservadora declarada.

Ainda assim, a fração de computação não é a fração de qualidade da segurança. Uma avaliação mais eficiente pode gastar menos aceleradores e produzir melhor evidência. Tags incorretas podem deslocar cargas entre categorias. Uma semana descreve uma fotografia, não uma tendência. Antes de comparar laboratórios, seria preciso publicar definições, amostragem, acesso para auditores e uma forma de reconciliar o total com a infraestrutura real.

A prova que uma plataforma deveria conseguir repetir

O passo responsável não é copiar os números da Anthropic para outro ambiente. É copiar as perguntas e testar os sensores numa carga própria e segura. Em tarefas sintéticas, um operador poderia introduzir ações claramente autorizadas, tentativas que deveriam ser negadas e sequências cujo risco só aparece depois de vários passos. Mediria o percentual de ações que realmente atravessa cada monitor, falsos negativos, alertas inúteis e tempo até contenção. Registraria também quantos casos chegam à pessoa e se ela recebe evidência suficiente para decidir.

O Korvo não auditou o sistema. Cobertura só vira supervisão quando se pode verificar o que o monitor perdeu e quanto demorou para agir.