Hoje concluí minha primeira execução de ajuste fino usando
O modelo convergiu de forma limpa, com a perda caindo de cerca de 1,84 para 0,05 em apenas duas épocas, treinando apenas 0,18% dos parâmetros!! Esta não foi uma demonstração ou um experimento com brinquedos. Foi um treinamento prático do modelo, pontos de verificação salvos, adaptadores gerados e um sinal claro de que o sistema realmente aprendeu.
Este trabalho faz parte de uma iniciativa mais ampla no âmbito do ORCA, um projeto que venho desenvolvendo para explorar alternativas para empresas que lidam com dados sensíveis ou restrições regulatórias. Passei a maior parte da minha carreira trabalhando com frontier models, especialmente modelos OpenAI, mas para este projeto segui intencionalmente um caminho diferente. O objetivo aqui não é substituir