arrow_backVoltar ao Blog
Hugging FacevLLMtransformersinferênciaIAopen-sourceperformance

Hugging Face torna backend vLLM do transformers tão rápido quanto implementações nativas

personLab Desenvolvimento
schedule5 min

Hugging Face conseguiu o que parecia impossível: vLLM tão rápido quanto nativo sem reescrever nada

Se você já trabalhou com deployment de LLMs, sabe o drama: o modelo funciona no Hugging Face Transformers, mas para rodar em produção com vLLM você precisa reimplementar a arquitetura manualmente. O Hugging Face acabou de matar esse problema.

O que mudou?

O backend transformers para vLLM agora atinge (ou supera) o throughput de implementações nativas do vLLM. Em testes com a família Qwen3:

  • Qwen3-4B (dense, single GPU): performance equivalente
  • Qwen3-32B (dense, tensor parallelism): performance equivalente
  • Qwen3-235B (MoE FP8, data + expert parallelism em 8×H100): performance superior

Como usar?

É uma única flag:

vllm serve Qwen/Qwen3-4B --model-impl transformers

Pronto. Seu modelo do Transformers roda no vLLM com continuous batching, kernels de atenção otimizados e paralelismo — sem portar nada.

Por que isso importa?

Para model authors que publicam no Hugging Face, isso é um divisor de águas. Antes, você precisava manter implementações paralelas: uma no Transformers para pesquisa/experimentação, outra no vLLM (ou SGLang, ou llama.cpp) para produção. Agora, a implementação do Transformers é a implementação de produção.

Para quem consome modelos, significa acesso imediato a qualquer arquitetura nova sem esperar porting manual.


Basta atualizar o vllm: pip install --upgrade vllm e testar com --model-impl transformers.