Zyphra treina modelo de raciocínio com AMD MI300X
A Zyphra pré-treinou o modelo ZAYA1-8B em cluster AMD MI300X na IBM Cloud, operando sem hardware ou software da Nvidia por até 72 horas contínuas.
Parceria com a IBM Cloud valida estabilidade de aceleradores Instinct em corrida de grande porte e abre alternativa prática à Nvidia.
A startup Zyphra concluiu o pré-treinamento do ZAYA1-8B, um modelo aberto de raciocínio construído do zero em infraestrutura integralmente fornecida pela AMD na nuvem da IBM. O projeto é um dos primeiros testes documentados de pré-treinamento completo executado em aceleradores AMD MI300X sem qualquer dependência de chips Nvidia ou da camada proprietária de software CUDA.
Treinamento contínuo em cluster AMD MI300X
A operação utilizou clusters dedicados com até 1.536 aceleradores AMD Instinct MI300X, interconectados por placas de rede Pensando Pollara de 400 Gbps sobre Ethernet e gerenciados pela pilha de software de código aberto ROCm. Ao longo do ciclo, o sistema processou entre 14 e 20 trilhões de tokens. Segundo dados divulgados em conjunto pela Zyphra e pela AMD, o cluster sustentou janelas contínuas de 48 a 72 horas sem falhas críticas de hardware ou quedas de comunicação entre nós.
A estabilidade técnica é a métrica mais observada pela indústria. Equipes de engenharia evitam rotineiramente migrar cargas de pré-treinamento para fora do ecossistema dominante por receio de travamentos silenciosos de compilador ou gargalos de sincronização entre nós. A execução ininterrupta na IBM Cloud indica que o ecossistema ROCm e a malha de rede atingiram maturidade para rodadas longas de ponta a ponta.
Memória alta e arquitetura de especialistas
O ZAYA1-8B reúne 8,3 bilhões de parâmetros no total, mas ativa apenas cerca de 760 milhões de parâmetros por token. O modelo combina a arquitetura Mixture-of-Experts (MoE++), que direciona cada requisição para especialistas dedicados, com a técnica de atenção convolucional comprimida (CCA), projetada para poupar memória durante a geração de respostas. O treinamento também utilizou o otimizador Muon.
O volume de memória por placa fez diferença direta na topologia do cluster. Cada acelerador MI300X traz 192 GB de memória de alta largura de banda (HBM3), capacidade superior aos 80 GB ou 141 GB usuais em equipamentos concorrentes da mesma categoria. Essa densidade permitiu alimentar contextos nativos de 16 mil tokens diretamente em cada nó, sem recorrer a paralelismo de contexto entre servidores nem sobrecarregar o tráfego de rede.
Resultados matemáticos e o que ainda não foi auditado
Os pesos do ZAYA1-8B estão disponíveis publicamente sob licença Apache 2.0 no Hugging Face e na nuvem da Zyphra, que também colocou em prévia uma versão maior com 74 bilhões de parâmetros. Em avaliações internas usando a técnica de tempo de inferência Markovian RSA, a desenvolvedora reportou 91,9% de acerto no exame de matemática AIME 2025 e 89,6% no HMMT 2025. Esses índices colocam o modelo em patamar similar a sistemas comerciais muito mais pesados, mas ainda dependem de replicação independente por grupos externos.
Outro ponto em aberto é a eficiência econômica real. Nem a AMD nem a IBM publicaram auditorias independentes sobre consumo elétrico ou custo total de propriedade (TCO) por token gerado em relação direta a clusters equivalentes com chips H100 ou H200. Mesmo assim, a entrega de mais de 750 PFLOPs reais de capacidade contratada em regime plurianual dá a engenheiros de infraestrutura um roteiro concreto para reduzir a dependência de um único fornecedor de silício.