Quando parei de escolher IA por benchmark

Na semana passada, a Moonshot AI lançou o Kimi K3. O anúncio é grande em todos os sentidos: 2,8 trilhões de parâmetros, visão nativa, um milhão de tokens de contexto e uma arquitetura de especialistas que ativa 16 entre 896 a cada passo. A empresa o apresenta como o primeiro modelo da classe de três trilhões de parâmetros com pesos abertos e diz que ele foi construído para programação de longo horizonte, pesquisa e agentes.

O mercado reagiu como reage a qualquer número grande. Benchmark, ranking, preço, comparação com OpenAI e Anthropic, gente tentando decidir em poucas horas se a China finalmente chegou na fronteira ou se tudo ainda é marketing.

Eu entendo a empolgação. O modelo parece bom. Talvez muito bom. O fato de um laboratório chinês chegar a esse nível de escala e colocar pressão em preço, distribuição e acesso é importante para todo mundo que trabalha com tecnologia.

Mas o Kimi K3 me fez voltar a uma pergunta que eu vinha fazendo com mais cuidado nos últimos meses: em qual modelo eu confiaria para construir uma empresa?

Não apenas para escrever um e mail, gerar uma imagem ou testar uma ideia. Estou falando de colocar um modelo dentro do fluxo que lê documentos, escreve código, acessa ferramentas, organiza contexto, toma iniciativa e passa a ocupar uma parte real da operação.

A parte mais importante do lançamento ainda não foi lançada

O anúncio da Moonshot deixa claro que os pesos completos e o relatório técnico do K3 devem sair até 27 de julho. Isso significa que, no momento em que escrevo, boa parte da conversa ainda está olhando para um modelo servido pela própria empresa, para resultados divulgados por ela e para demonstrações que a comunidade começou a testar há poucos dias.

Não há nada de errado em lançar um produto antes do relatório técnico. Empresas fazem isso o tempo inteiro. O problema aparece quando a escala do anúncio cresce mais rápido do que a documentação necessária para avaliar o que está sendo colocado no mercado.

O K3 não é um chatbot pequeno que responde perguntas em uma aba do navegador. A própria Moonshot o posiciona para tarefas longas, Kimi Code, ferramentas, agentes e trabalho autônomo. Um modelo assim não é apenas uma resposta mais bonita. Ele pode virar operador.

Eu quero saber como o modelo foi treinado, qual foi a infraestrutura usada, que tipo de avaliação de segurança foi feita, como ele se comporta diante de instruções ambíguas e quais controles existem fora do próprio modelo. Quero entender se os pesos publicados correspondem ao sistema hospedado e se o que funciona em uma demonstração continua funcionando depois de cinquenta interações, mudança de contexto e ferramenta externa no meio do caminho.

A própria Moonshot descreve um risco operacional

Uma coisa que achei interessante no material do K3 é que a Moonshot não vende perfeição absoluta. Ela reconhece que o modelo ainda fica atrás dos modelos proprietários mais fortes em desempenho geral e aponta limitações práticas na experiência. Entre elas está a tendência de o sistema ser proativo demais quando recebe uma intenção ambígua.

Em uma demonstração, um agente que toma iniciativa parece inteligente. Em produção, ele pode mandar a mensagem errada, editar o arquivo errado, acionar a ferramenta errada ou gastar dinheiro demais antes de alguém perceber. Quanto maior o escopo, maior o preço de uma interpretação equivocada.

Não estou dizendo que o K3 seja inseguro. Estou dizendo que autonomia não é sinônimo de segurança. Um modelo pode ser excelente em programação e ainda ser uma péssima escolha para tocar um sistema sem limites de permissão, revisão humana, isolamento de segredos, registro de ações e possibilidade de reversão.

Pesos abertos podem reduzir um risco e criar outros

Eu gosto da ideia de modelos com pesos abertos. Ela pode devolver escolha para quem não quer enviar código, documentos e contexto estratégico para um produto hospedado. Rodar um modelo em ambiente próprio, com rede restrita, permissões mínimas, segredos fora do contexto e revisão humana antes de qualquer ação material muda bastante a superfície de risco.

Mas pesos abertos não são uma medalha automática de confiança. Os pesos precisam chegar com licença clara, hashes, configuração, código de inferência verificável e documentação suficiente para que a comunidade consiga entender o que recebeu. Também é preciso distinguir o que é modelo aberto do que é serviço hospedado.

No caso do K3, essa conversa começa de verdade quando os pesos e o relatório prometidos forem publicados. Até lá, eu acho razoável testar, comparar e acompanhar. Eu só não chamaria isso de confiança pronta.

A questão da destilação exige mais transparência, não menos

Existe também um histórico que não dá para fingir que não existe. Em fevereiro, a Anthropic acusou DeepSeek, Moonshot e MiniMax de usar cerca de 24 mil contas fraudulentas para gerar mais de 16 milhões de interações com Claude e extrair capacidades por destilação.

Isso é uma acusação da Anthropic. Não é uma sentença, nem uma auditoria independente concluída. A empresa tem telemetria própria e interesse direto na disputa, então a formulação correta precisa ser essa.

Mas uma acusação nessa escala cria uma consequência prática. Quando existe dúvida sobre a origem de capacidades, a resposta esperada de qualquer laboratório deveria ser mais transparência sobre treinamento, dados sintéticos, avaliação e limites do modelo. Não menos.

A notícia de hoje muda o tamanho da conversa

Enquanto eu escrevia este texto, a Axios publicou que integrantes do governo Trump voltaram a discutir possíveis restrições para modelos chineses avançados. Entre os cenários relatados está o uso da Entity List contra laboratórios de IA. Não há decisão anunciada, e transformar uma discussão interna em fato consumado seria errado.

Também seria errado concluir que todo modelo chinês é inseguro por ser chinês. Isso é preguiçoso, politicamente fácil e tecnicamente fraco. Mas origem, jurisdição, cadeia de fornecimento, política de retenção e transparência institucional importam, principalmente quando modelos deixam de ser produtos de conversa e passam a executar tarefas dentro da empresa.

Quando uma ferramenta vira infraestrutura, documentação vira um ativo geopolítico.

Minha experiência mudou a pergunta

Durante cerca de seis meses, uma parte muito grande do meu trabalho ficou dentro da Anthropic. Eu gostava da organização, da consistência e da preocupação com segurança. Em algum momento, entretanto, percebi que o equilíbrio começou a mudar para a minha rotina. Tarefas longas de programação, agentes e arquitetura ficaram mais cautelosas, mais pesadas e menos fluidas do que eu precisava.

Voltei a testar os modelos da OpenAI em paralelo para código, texto e imagem. Pouco tempo depois, cancelei minha assinatura da Anthropic. Não porque Claude tenha se tornado um modelo ruim. Muito pelo contrário. Mas porque, no meu trabalho diário, velocidade, liberdade, qualidade e consistência voltaram a ficar mais equilibradas para mim na OpenAI.

O Grok também foi uma surpresa. Eu o usava muito mais por imagem e não esperava enxergá lo como ferramenta séria de engenharia. Hoje enxergo. Isso não significa que eu colocaria qualquer projeto sensível ali sem pensar. Significa que o mercado está ficando mais competitivo e que as escolhas estão menos óbvias do que eram alguns meses atrás.

A próxima disputa não é apenas por inteligência

O Kimi K3 importa porque mostra que a corrida está mudando. Modelos chineses de pesos abertos estão ficando maiores, mais baratos e mais capazes. Isso coloca pressão real sobre preço, distribuição e a ideia de que apenas alguns laboratórios americanos podem oferecer inteligência de ponta.

Durante dois anos, a indústria perguntou quem escrevia melhor, quem programava melhor e quem tinha o maior número no benchmark. Essas perguntas continuam úteis. Mas não são suficientes para escolher a infraestrutura de uma empresa.

A pergunta mais difícil é esta: em quem eu confiaria para construir em cima? Não apenas confiança no modelo. Confiança na empresa, na documentação, na política de dados, na governança, na possibilidade de auditoria e no comportamento do sistema quando ninguém está olhando.

No fim do dia, quando você coloca um modelo dentro da sua empresa, não escolhe apenas um algoritmo. Escolhe uma parte da sua infraestrutura. E essa decisão merece muito mais do que um benchmark.