O surgimento de startups europeias como a Euclyd indica um pivô estrutural das GPUs de uso geral em direção ao silício de inferência especializado.
Estamos vendo uma mudança dos gargalos de von Neumann para arquiteturas que processam dados in situ, com o objetivo de contornar a penalidade de energia da pilha de memória tradicional.
A verdadeira tensão na IA de produção é o limite térmico e económico do ciclo H100/B200, onde a movimentação de dados custa mais do que a sua computação.
Já observei clusters suficientes acelerarem sob carga térmica para saber que as reivindicações de eficiência de 100x são irrelevantes, a menos que a pilha do compilador possa lidar com orquestração heterogênea de múltiplos chips em escala.
Acredito que o domínio do
Implantar um modelo é fácil, mas manter o TCO de um sistema que processa trilhões de tokens em hardware otimizado para treinamento é uma estratégia fracassada.
Estou apostando em arquiteturas que tratam a memória e a computação como uma única entidade física para resolver o piso de latência na IA de produção em tempo real.
O
A liderança da #ASML está apoiando esses pivôs porque a soberania da computação agora está vinculada ao Watt, não apenas ao FLOP.
A próxima fase da deploy do LLM será definida pela dissociação do hardware de treinamento do silício especializado e de baixo consumo de energia necessário para realmente executar a inferência mundial.
A heterogeneidade de hardware não é mais uma escolha; é a única maneira de escalar sem quebrar a grade.
Link nos comentários.