Acabei de implantar um Compliance Guard v3.1 – um sistema de IA ponta a ponta que automatiza a análise de conformidade de segurança cibernética usando Mistral-7B ajustado com adaptadores LoRA.
Principais conquistas técnicas:
✅ 96% de precisão de validação no conjunto de testes dourado (48/50 casos)
✅ Redução de 99% na latência por meio de cache inteligente (8,6s → 0,01s)
✅ 67% de otimização de memória via quantização de 4 bits (15GB → 5GB VRAM)
✅ Pilha de observabilidade pronta para produção (Prometheus + Grafana)
Destaques da arquitetura:
- Backend FastAPI com limitação de taxa SlowAPI
- Cache de disco baseado em MD5 para otimização de inferência
- Orquestração Docker Compose em AWS G4DN
- Métricas em tempo real + monitoramento de saúde
- Sistema de feedback do usuário (volante de dados para melhoria contínua)
O Desafio:
Implantação de um modelo de 15 GB em infraestrutura de GPU restrita, mantendo tempos de resposta abaixo de 10 segundos. Solução: quantização BitsAndBytes de 4 bits + estratégia agressiva de cache.
Pilha de tecnologia: Python | PyTorch | API rápida | Docker | Prometeu | FAISS | LoRA/PEFT
Este projeto demonstra o design do sistema de ML de produção - desde a otimização do modelo até a orquestração da deploy e a observabilidade em escala.
Análise técnica completa + código: https://lnkd.in/ePD7kYSH