Treinar um modelo de raciocínio custa caro. Não é novidade. Mas o que pouca gente percebe é de onde vem boa parte desse custo: GPUs paradas, esperando as colegas terminarem o trabalho.

Um grupo de pesquisadores do MIT, liderado pelo professor Song Han, publicou um paper chamado "Taming the Long-Tail" (TLT) que ataca exatamente esse problema. A ideia é simples na essência: enquanto algumas GPUs ficam ociosas durante o rollout de reinforcement learning, o sistema usa esse tempo morto para treinar um modelo menor, chamado drafter, que acelera as GPUs mais lentas. O resultado? Treino até 2.1x mais rápido, sem perder acurácia. O paper será apresentado no ASPLOS 2026, em Pittsburgh, entre 22 e 26 de março.

O gargalo escondido no reinforcement learning

Quando treinamos LLMs com reinforcement learning (RL), o processo mais custoso não é o que a maioria imagina. Não é o cálculo do gradiente nem a atualização dos pesos. É o rollout, a etapa onde o modelo gera múltiplas respostas para cada prompt de treino.

O problema é estatístico. Para um mesmo prompt, o modelo pode gerar uma resposta em 50 tokens ou em 2.000. Quando dezenas de GPUs trabalham em paralelo, cada uma gerando respostas para prompts diferentes, o sistema precisa esperar que todas terminem antes de seguir para a próxima etapa. A GPU que terminou em 50 tokens fica parada até a que precisa de 2.000 tokens acabar.

Essa distribuição de cauda longa (long-tail) é o que dá nome ao paper. Segundo os pesquisadores, o rollout consome até 85% do tempo total de execução do treino RL. A maior parte desse tempo são GPUs ociosas esperando as mais lentas.

É desperdício puro. E caro.

Speculative decoding: da inferência para o treino

Se você acompanha otimização de LLMs, provavelmente já cruzou com speculative decoding. A técnica é usada na inferência: um modelo pequeno e rápido gera tokens candidatos, e o modelo grande verifica em lote se concorda com eles. Quando o modelo pequeno acerta (o que acontece na maioria dos tokens), o processo avança sem que o modelo grande precise gerar cada token do zero.

O TLT adapta essa ideia para o contexto de treino RL. Em vez de usar speculative decoding só na inferência, o sistema usa um modelo drafter durante o rollout para acelerar a geração das respostas mais longas.

Mas aqui vem o detalhe que torna o TLT diferente de uma adaptação ingênua: o modelo que está sendo treinado muda milhares de vezes durante o processo. Um drafter estático ficaria desatualizado em poucas iterações. O sistema precisava de um drafter que evoluísse junto com o modelo principal.

TLT: dois componentes, uma ideia elegante

O sistema TLT tem duas partes:

Adaptive Drafter Trainer treina o modelo auxiliar usando exatamente o tempo que seria desperdiçado. Quando GPUs terminam seus rollouts mais cedo e ficam ociosas, o sistema redireciona essas GPUs para treinar o drafter. Ele aprende a prever os outputs do modelo principal usando os mesmos dados do rollout em andamento. Zero recursos extras consumidos.

O drafter reaproveita componentes do próprio processo de treino do modelo de raciocínio, o que gera ganhos adicionais de aceleração. E por ser leve, consegue ser atualizado rapidamente mesmo que o modelo alvo mude milhares de vezes.

Adaptive Rollout Engine gerencia um pool de CUDAGraphs pré-capturados e seleciona a estratégia de speculative decoding mais adequada para cada lote de inputs. Nem todo prompt se beneficia igualmente do drafter. O engine decide automaticamente quando usar e quando não usar.

O resultado é um ciclo virtuoso: GPUs ociosas treinam o drafter, que por sua vez reduz o tempo de rollout, que reduz o tempo de ociosidade. No fim do treino, o drafter está alinhado com o modelo final e pode ser reutilizado diretamente em produção para speculative decoding na inferência. Um bônus que vem de graça.

Números: 1.7x de speedup, zero perda de acurácia

Nos testes dos pesquisadores, o TLT alcançou mais de 1.7x de speedup end-to-end no treino RL em relação a sistemas estado da arte. Nos benchmarks, o speedup end-to-end variou entre 1.7x e 2.1x dependendo do modelo e do dataset, sem degradação de acurácia em nenhum dos cenários testados.

Para colocar em perspectiva: se um treino levava 100 horas de GPU, com o TLT leva entre 48 e 59 horas. Multiplica isso pelo custo por hora de instâncias com A100 ou H100, e a economia fica na casa de dezenas de milhares de dólares por run de treino.

O paper foi desenvolvido por pesquisadores do MIT HAN Lab (Qinghao Hu, Shang Yang, Junxian Guo, entre outros), com colaboradores da NVIDIA, ETH Zurich e do MIT-IBM Watson AI Lab. O financiamento veio do MIT-IBM Watson AI Lab, MIT AI Hardware Program, MIT Amazon Science Hub, Hyundai Motor Company e National Science Foundation.

O que muda na prática

Eficiência de treino não é só questão acadêmica. O custo de treinar modelos de raciocínio com RL é proibitivo para a maioria das organizações. Qualquer ganho multiplicativo aqui tem efeito cascata: mais experimentos possíveis com o mesmo orçamento, iterações mais rápidas, menor consumo energético.

O TLT é particularmente interessante porque não exige mudanças na arquitetura do modelo nem no algoritmo de RL. É uma otimização de sistemas. Mexe no como o treino acontece, não no que está sendo treinado. Pode ser adotado como uma camada sobre pipelines existentes.

E o drafter que sai de graça no final do treino não é detalhe menor. Speculative decoding na inferência é uma das técnicas mais efetivas para reduzir latência em produção, e ter um drafter já alinhado com o modelo final elimina uma etapa inteira de preparação.

O TLT não é o único esforço nessa direção. Trabalhos como ReSpec (que reporta até 4.5x de speedup com speculative decoding adaptativo para RL) e SPEC-RL (que reaproveita segmentos de trajetórias anteriores como prefixos especulativos) mostram que a comunidade de pesquisa está convergindo nesse problema. O gargalo do rollout é real, e a corrida por soluções está aberta.

Conclusão

O TLT resolve um problema que é fácil de explicar mas difícil de atacar: GPUs esperando outras GPUs. A solução dos pesquisadores do MIT, treinar um modelo auxiliar exatamente no tempo que seria desperdiçado, tem aquela elegância que caracteriza boas ideias de sistemas: parece óbvia depois que alguém apresenta.

O paper "Taming the Long-Tail: Efficient Reasoning RL Training with Adaptive Drafter" será apresentado no ASPLOS 2026. O código está disponível no repositório do MIT HAN Lab. Para quem trabalha com treino de modelos de raciocínio ou se interessa por eficiência computacional, vale a leitura.

Referências pesquisadas nesta publicação