Na semana passada, Grok tornou-se o centro de uma grande reação pública. Os relatórios mostraram que o sistema gerava imagens sexualizadas não consensuais, incluindo conteúdo envolvendo menores, diretamente através do X. Isso não era novidade. Eu já havia escrito sobre isso anteriormente, sinalizando que Grok estava sendo usado para gerar conteúdo explicitamente sexual envolvendo crianças. A recente investigação da CNN não revelou um novo problema. Confirmou, em escala, o que já era visível para qualquer pessoa que observasse de perto o comportamento do sistema.

Como engenheiro de sistemas de IA, quero ser preciso. Esta não é uma história sobre um modelo “se comportando mal”. Os modelos sempre produzirão resultados indesejados. Isso é esperado. O verdadeiro problema não é nem mesmo o conteúdo sexual em si. Trata-se de pessoas reais, imagens reais, falta de consentimento e danos irreversíveis possibilitados por uma arquitetura de sistema que tornou este resultado previsível. A deploy de um poderoso modelo generativo multimodal na produção pública, fortemente acoplado a uma rede social, sem camadas suficientes de controlo, auditoria e governação, não é um acidente. É uma falha de engenharia. Esta não é uma questão de modelo. É uma falha no projeto do sistema sociotécnico.

Steven Adler, ex-pesquisador de segurança de IA da OpenAI, afirmou claramente: grades de proteção que impedem isso existem, mas têm custos. Eles aumentam a latência, aumentam os requisitos de computação e, às vezes, bloqueiam solicitações benignas. Em outras palavras, a segurança era tecnicamente viável. Não implementá-lo foi uma escolha. As restrições não eram desconhecidas. Eles foram despriorizados.

A abordagem correta foi direta. Os sistemas generativos voltados para o público que transformam os insumos do mundo real devem separar a geração da publicação. Eles exigem camadas de segurança independentes, e não automoderação pelo mesmo modelo que gera conteúdo. Necessitam de verificações pré-geração, validação pós-geração e governação explícita sobre o que pode ser produzido, quando e onde. Acima de tudo, a IA em produção em espaços públicos deve ser tratada como infraestrutura crítica e não como uma experiência de crescimento.

A lição de Grok é desconfortável, mas simples. O modelo não é o centro do risco. Design de produto, integração de plataforma e incentivos são. Segurança é arquitetura, não formulação rápida. A liberdade sem governação torna-se uma externalidade negativa em grande escala. E a IA na produção pública não é mais apenas software. É infraestrutura. Isso se aplica a imagens, textos, códigos, agentes, voz e qualquer sistema generativo conectado ao mundo real.

Link nos comentários.