Treinar agentes de IA em vários ambientes evita falhas

Novo método aberto aplica aprendizado por reforço em plataformas como Claude Code e OpenCode sem alterar o código das ferramentas.

Em 5 de outubro de 2026, a Hugging Face e a FineEnvs publicaram o guia técnico The ultimate guide to multi-harness RL, liderado pelo pesquisador Adithya S. Kolavi. O projeto resolve um gargalo comum ao treinar agentes de IA para programação: quando o modelo aprende a resolver problemas dentro de uma única interface, ele costuma memorizar as peculiaridades daquele ambiente e falha ao rodar em outros programas.

A solução proposta usa aprendizado por reforço (técnica em que o modelo ganha recompensas ao acertar passos) distribuído por vários ambientes reais, sem exigir modificações no código de ferramentas como Claude Code, OpenCode ou Mini-SWE-Agent.

O problema do ambiente único

No ecossistema de programação assistida, o desempenho de um assistente não depende apenas dos pesos da rede neural. Ele depende do harness, a camada de software externa que envia instruções ao modelo, gerencia chamadas de ferramentas, formata o contexto e trata erros de execução.

Os testes do grupo demonstraram essa fragilidade com números diretos. O modelo compacto LFM2.5-2.6B, da Liquid AI, resolveu 62% dos problemas de teste dentro do Mini-SWE-Agent. Ao rodar exatamente os mesmos pesos no Claude Code, a taxa despencou para 33%.

Quando o ajuste fino ocorre em um só harness, o modelo aprende a responder às manias daquela ferramenta específica. Ao mudar de programa, o fluxo quebra.

Como treinar agentes de IA com o OpenEnv

Para conectar diferentes ferramentas sem reescrever o código de cada uma, os pesquisadores montaram uma estrutura aberta dividida em três partes:

1. Proxy de captura (OpenEnv): funciona como um intermediário na rede entre a ferramenta do agente e o servidor que roda o modelo (como vLLM ou SGLang). O proxy intercepta quatro padrões comuns de API (OpenAI Chat Completions, OpenAI Responses, Anthropic Messages e Gemini) e grava os tokens gerados e suas probabilidades.
2. Isolamento de tarefas (Harbor v0.22.0): gerencia contêineres isolados para rodar tarefas e comandos sem riscos ao sistema.
3. Treinamento por reforço (TRL): processa os dados capturados usando o algoritmo Async GRPO para atualizar os parâmetros do modelo.

Com esse arranjo, o LFM2.5-2.6B subiu sua taxa média de resolução em tarefas de teste de 42,2% para 54,2%. Os ganhos apareceram em todas as ferramentas avaliadas. Quando o treino ficou restrito apenas ao OpenCode, o índice dentro dele saltou de 34% para 58%, mas quase não houve avanço nos demais ambientes.

Prática real supera imitação de modelos maiores

O estudo comparou o treino interativo por reforço com a destilação supervisionada tradicional, método em que um modelo menor apenas copia soluções prontas de uma IA maior. Os autores treinaram o LFM2.5-2.6B para imitar 3.189 respostas corretas geradas pelo Qwen3.8-27B. A imitação travou em um teto de 47,5% de sucesso.

A prática direta dentro do ambiente permitiu que o modelo menor descobrisse maneiras próprias de corrigir falhas durante a execução, superando a cópia passiva.

Além disso, a equipe adicionou uma penalidade para comandos redundantes. Essa recompensa de eficiência reduziu em 31,1% a quantidade de chamadas de ferramentas nas tarefas concluídas, economizando tempo e espaço na janela de contexto.

Código disponível e gargalos conhecidos

Os pesquisadores liberaram todo o ecossistema publicamente: o código do proxy no repositório OpenEnv, as rotinas no TRL, o conjunto de dados SmolDataEnvs (com 1.000 tarefas de treino e 250 de teste em Python e ciência de dados) e sete checkpoints prontos para uso.

O relatório também aponta limites técnicos claros. Os experimentos avaliaram modelos pequenos, de 2 a 2,6 bilhões de parâmetros, focados em scripts de dados. O comportamento em modelos com mais de 30 bilhões de parâmetros ou em navegação complexa de terminal ainda precisa de testes. No aspecto operacional, a versão atual do proxy roda em processo único: ela começou a sofrer com concorrência perto de 200 sessões simultâneas e travou ao atingir 320, o que exige ajustes antes de rodar em grandes servidores.

Fontes

• Guia técnico no Hugging Face Spaces
• Anúncio oficial da Hugging Face no X
• Publicação de Adithya S. Kolavi no X
• Repositório do modelo LFM2.5-2.6B no Hugging Face
• Código do OpenEnv no GitHub
• Biblioteca TRL no GitHub
• Cobertura da Sina Tech