Construir um modelo de detecção de fraude com PyTorch é apenas metade da batalha. A outra metade é garantir que tudo funcione de maneira tranquila e saudável e tomar decisões em tempo real.
Seguindo minha post anterior sobre "Detectando anomalias em transações de táxi com aprendizado profundo: um caso real de MLOps", acabei de concluir a camada de observabilidade para este projeto de detecção de anomalias em transações de táxi em Nova York usando uma GPU NVIDIA L4.
Depois de treinar um PyTorch Autoencoder leve (com apenas 1.751 parâmetros) em viagens "saudáveis" para aprender o comportamento normal e sinalizar desvios, configurei a ingestão de dados via Kafka e inferência acelerada por GPU. Agora, implementei uma pilha de monitoramento completa com Prometheus e Grafana para manter tudo visível e com bom desempenho.
O que posso monitorar agora:
✅ Integridade do Sistema: Métricas em tempo real para API e Worker.
✅ Taxa de transferência: transações processadas por segundo.
✅ Latência P95: Garantir que estejamos abaixo do limite de 100 ms para decisões de baixa latência.
✅ Detecção de anomalias: Taxa de alertas de fraude gerados pelo Autoencoder com base em erros de reconstrução.
Um projeto sem observabilidade é como pilotar um avião no escuro. Agora, eu não apenas detecto anomalias nas tarifas, distâncias e durações dos táxis – eu as observo quase em tempo real.
Essa configuração permite pipelines de detecção de fraude eficientes e interpretáveis sob restrições de produção, integrando-se perfeitamente com FastAPI para inferência online e Kafka para streaming.
Pilha de tecnologia: FastAPI, Kafka (Redpanda), PyTorch, Prometheus, Grafana, Docker, GPU NVIDIA na Amazon Web Services (AWS).
[Anexe as duas capturas de tela aqui: uma mostrando a latência de inferência e o resumo de anomalias, a outra exibindo a integridade do serviço, a taxa de transferência e a taxa de detecção de anomalias.]