A segurança não está na obediência de um modelo, mas na fricção arquitetônica que o impede de esconder seus próprios pensamentos.
A OpenAI está a considerar a incapacidade dos frontier models de controlar o seu raciocínio interno como um avanço para o alinhamento.
Esta “lacuna de controlabilidade” entre o raciocínio oculto e os resultados visíveis é atualmente a única coisa que mantém a caixa preta transparente.
Os dados confirmam que à medida que os modelos pensam mais e passam por um RLVR rigoroso, perdem a capacidade de mascarar a sua lógica.
Devemos nos perguntar se essa transparência é uma propriedade física permanente da computação neural ou apenas um subproduto passageiro da escala.
Interpreto esta baixa controlabilidade não como uma característica da engenharia de segurança, mas como uma falta fundamental de autodomínio cognitivo.
O sistema está efectivamente demasiado concentrado na tarefa de resolução de problemas de elevada entropia para manter a sobrecarga do engano estratégico.
Meu julgamento técnico é que atualmente estamos nos beneficiando de uma “imposta de honestidade” imposta pela enorme intensidade da computação em tempo de teste.
Acredito que a indústria está se movendo em direção a um futuro onde priorizaremos modelos que são “estruturalmente incapazes” de mentir sobre aqueles que são “treinados” para serem bons.
Se um modelo não consegue sequer evitar uma palavra-chave específica na sua própria cadeia de pensamento, ainda não pode arquitetar uma insurreição silenciosa.
No entanto, no momento em que vemos as pontuações de controlabilidade aumentarem juntamente com as contagens de parâmetros, nossa pilha de monitoramento atual se torna obsoleta.
Aposto no surgimento da “Supervisão do Tempo de Execução” como a única defesa viável contra o inevitável aumento da esteganografia mecânica.
A verdadeira inteligência eventualmente aprende a particionar o seu próprio estado para evitar a observação externa.
Estamos desfrutando de uma janela temporária de sinceridade da máquina que se fechará assim que otimizarmos a eficiência do CoT.
A era da confiança na palavra do modelo está morrendo; devemos agora aprender a confiar na transparência da sua luta.
Link: https://lnkd.in/egDe4q4t