Inworld Inference une modelos abertos e voz em tempo real
A Inworld Inference chega com baixa latência no Gemma 4 e modelos abertos, unindo chamadas padrão OpenAI e síntese de voz em fluxo contínuo.
Plataforma promete respostas em 0,17 segundo no Gemma 4 e traz compatibilidade direta com ferramentas da OpenAI, mas testes de velocidade ainda dependem de confirmação independente.
A Inworld AI lançou nesta terça-feira a API Inworld Inference, voltada para desenvolvedores que precisam de respostas imediatas em assistentes virtuais, tutores digitais e jogos. O serviço funciona como uma camada de hospedagem para modelos abertos recentes e inclui compatibilidade direta com a interface da OpenAI, além de permitir que uma única chamada gere texto e voz sintetizada ao mesmo tempo.
A novidade apareceu na documentação oficial da empresa e foi detalhada pelo canal TestingCatalog. Em vez de disputar o processamento corporativo em lote, a Inworld mira aplicações interativas de consumo, onde pausas de alguns segundos quebram a conversa.
Latência e os números do Gemma 4
O principal argumento da plataforma está no Time to First Token (TTFT). O indicador mede o intervalo entre o envio do prompt pelo usuário e o instante em que a primeira palavra aparece na tela ou começa a soar nos alto-falantes.
Pelos dados divulgados pela Inworld, o modelo Gemma 4 26B atinge mediana de 0,17 segundo em sua infraestrutura, contra 0,61 segundo registrado pela empresa na mediana de concorrentes reunidos no OpenRouter. No percentil 95, faixa que captura momentos de lentidão sob estresse, a taxa informada foi de 0,31 segundo, frente a 2,42 segundos da concorrência. No Gemma 4 31B, a companhia afirma ter reduzido a mediana sob carga de 943 para 336 milissegundos.
Esses números exigem cautela. Trata-se de medições internas da própria fornecedora, sem auditoria pública de laboratórios independentes de benchmark, como o Artificial Analysis. A empresa também não revelou quais aceleradores ou placas gráficas equipam os servidores distribuídos em suas quatro regiões operacionais (América do Norte, Europa, sul da Ásia e leste asiático).
Como funciona a Inworld Inference: catálogo e tiers
Além da família Gemma 4, o catálogo reúne o GLM 5.3 Flash, o DeepSeek V4.1 Flash, o MiMo 2.6 Pro e o modelo de decisão Clef. Equipes que usam pesos próprios ajustados internamente podem contratar instâncias dedicadas pelo formato BYOM (traga seu próprio modelo).
A integração adota o endpoint padrão /v1/chat/completions. Quem já utiliza os SDKs da OpenAI ou da Anthropic só precisa alterar a URL base e a chave de autenticação para testar a rota.
Para equilibrar custo e prioridade, a API oferece quatro níveis de serviço:
flex: rota mais econômica para tarefas em segundo plano;default: nível padrão sem garantias rígidas de tráfego;priority: capacidade reservada e menor variação em horários de pico;fast: execução com decodificação em tempo real voltada para latência mínima.
A opção fast recorre a uma técnica proprietária de decodificação especulativa que valida múltiplos tokens em uma única passagem. De acordo com a empresa, o método acelera a atenção de validação em 7,5 vezes no Gemma 4 26B. O recurso, no entanto, não fica disponível imediatamente para qualquer conta e exige aprovação manual da equipe técnica.
Resposta de voz no mesmo canal
A decisão técnica mais prática da API é a unificação de texto e áudio. Em arquiteturas comuns de voz, o desenvolvedor captura os tokens gerados por um modelo de linguagem e os envia para outro serviço de texto para fala (TTS). Na Inworld Inference, o guia técnico mostra que o texto e o áudio sintetizado via Realtime TTS-2 trafegam na mesma conexão HTTP ou SSE por streaming contínuo.
Essa abordagem dispensa orquestrações complexas no backend e elimina o atraso acumulado pelas viagens de rede entre provedores diferentes na nuvem.
Preços de entrada e disputa de mercado
Na tabela de entrada, o Gemma 4 26B sai por US$ 0,07 a cada 1 milhão de tokens de entrada e US$ 0,34 por 1 milhão de tokens de saída. A Inworld afirma que a tarifa fica cerca de 40% abaixo da mediana de concorrentes que não retêm dados de clientes. Para prompts que reaproveitam instruções longas, o roteamento com suporte a cache atinge até 90% de reaproveitamento, aplicando descontos de até 99% em tokens cacheados em modelos como MiMo e DeepSeek.
Conhecida pelo desenvolvimento de personagens não jogáveis com IA e após adquirir a plataforma de voz Ultravox no mês passado, a Inworld entra na disputa direta com especialistas em hardware de alta velocidade, como Groq, Cerebras e Together AI. A aposta da empresa é que a corrida não depende apenas de poder computacional bruto, mas da capacidade de entregar raciocínio e voz integrados em uma ponta única.