Nvidia GB300 NVL72 atinge ganho de 7,2x em inferência
SemiAnalysis e vLLM registram salto de 7,2x em perf/TCO com o rack GB300 NVL72 da Nvidia ao rodar modelos MoE com barramento de cobre.
Testes com vLLM e Inferact usam 72 GPUs interligadas por cobre para acelerar modelos MoE e cortar custo de inferência.
A consultoria de semicondutores SemiAnalysis divulgou dados de desempenho do rack Nvidia GB300 NVL72 em tarefas de inferência de inteligência artificial. Fruto de trabalho conjunto entre o projeto de código aberto vLLM, a startup Inferact e engenheiros da Nvidia, o sistema entregou até 7,2 vezes mais desempenho por custo total de propriedade (TCO) do que outros aceleradores do mercado ao processar modelos do tipo Mixture-of-Experts (MoE).
Os números vêm de execuções com o modelo DeepSeek v4.1 Flash formatado em precisão FP4. Na telemetria pública da plataforma InferenceX, o rack registrou taxa contínua de 77.931 tokens por segundo por GPU com meta de 50 tokens por segundo por usuário. Sob a premissa de custo de US$ 2,31 por GPU por hora em grandes provedores de nuvem, o valor operacional calculado ficou em cerca de US$ 0,008 por milhão de tokens gerados.
Por dentro do rack unificado GB300 NVL72
O salto de eficiência não veio de clocks mais altos em chips isolados. Ele resulta da forma como o hardware movimenta os parâmetros entre os processadores. Servidores convencionais costumam agrupar oito aceleradores conectados por placas de circuito interno. Quando o modelo precisa de mais máquinas, a comunicação recai sobre cabos de rede externos limitados a cerca de 50 GB/s por chip, criando filas de espera constantes para transferir dados.
No GB300 NVL72, a Nvidia reuniu 72 processadores gráficos Blackwell Ultra em um único domínio físico interligado por um backplane de cobre sem transceptores ópticos. A conexão NVLink 5 transfere 900 GB/s por chip em cada direção. Essa largura de banda viabiliza o que engenheiros chamam de paralelismo largo de especialistas (wideEP). Os parâmetros de cada especialista da rede MoE ficam distribuídos por todas as 72 GPUs. Como cada chip guarda apenas uma fração dos pesos, a pressão sobre a memória local diminui e o sistema evita transferir dados repetidos pela rede a cada requisição.
Memória HBM3e e o salto sobre o GB200
A capacidade de memória também alterou a equação de custo. O GB300 traz 288 GB de HBM3e por GPU, contra 192 GB da geração GB200 anterior. Em testes com o modelo DeepSeek-V4-Pro, de 1,6 trilhão de parâmetros, essa folga extra permitiu processar lotes maiores na fase de entrada (prefill) sem estrangular a etapa seguinte de decodificação. O resultado medido no InferenceX foi um volume de tokens 2,83 vezes maior por GPU e uma relação custo-benefício 2,31 vezes melhor na comparação direta entre os dois racks.
Condições do teste e projeções em aberto
Os dados atuais exigem ressalvas operacionais bem definidas. As medições foram feitas em servidores de acesso antecipado fornecidos pela CoreWeave, com suporte técnico direto de engenheiros da Nvidia e da Inferact para ajustar os kernels de software. Provedores como AWS e Google Cloud ainda não publicaram benchmarks equivalentes em ambientes de produção com cargas de trabalho variadas.
A SemiAnalysis também afirmou que metas de resposta mais exigentes, entre 100 e 150 tokens por segundo por usuário, poderiam elevar a vantagem do rack para marcas entre 10 e 20 vezes. [RUMOR]: Essa projeção mais ampla continua sendo uma extrapolação interna da consultoria e não foi confirmada por telemetria consolidada no painel público do InferenceX.
O que muda para a infraestrutura de IA
Para equipes que projetam centros de dados voltados a modelos esparsos, o teste indica uma mudança clara na arquitetura dos sistemas. Servidores isolados com oito aceleradores já não dão conta das trocas contínuas de pesos exigidas por modelos MoE. O ganho econômico agora depende de tratar o rack inteiro como um único computador e ajustar o software de inferência para explorar essa interconexão direta por cobre.
Fontes
- Anúncio da SemiAnalysis no X: https://x.com/SemiAnalysis_/status/2110496505031192895
- Detalhes de arquitetura e wideEP pela SemiAnalysis: https://x.com/SemiAnalysis_/status/2110496506578890963
- Projeções de latência no X: https://x.com/SemiAnalysis_/status/2110496508285960571
- Comunicado técnico do projeto vLLM: https://x.com/vllm_project/status/2092040745842774377
- Telemetria do DeepSeek v4.1 Flash no InferenceX: https://inferencex.semianalysis.com/run/deepseek-v41-flash-on-gb300-nvl72
- Comparativo GB300 vs GB200 no InferenceX: https://inferencex.semianalysis.com/blog/gb300-nvl72-vs-gb200-nvl72-dsv4-pro-vllm-fp4
- Especificações técnicas do GB300 NVL72 pela Nvidia: https://resources.nvidia.com/en-us-inference-contact-us/discover-ai-inference