Hugging Face torna backend vLLM do transformers tão rápido quanto implementações nativas
Hugging Face conseguiu o que parecia impossível: vLLM tão rápido quanto nativo sem reescrever nada
Se você já trabalhou com deployment de LLMs, sabe o drama: o modelo funciona no Hugging Face Transformers, mas para rodar em produção com vLLM você precisa reimplementar a arquitetura manualmente. O Hugging Face acabou de matar esse problema.
O que mudou?
O backend transformers para vLLM agora atinge (ou supera) o throughput de implementações nativas do vLLM. Em testes com a família Qwen3:
- Qwen3-4B (dense, single GPU): performance equivalente
- Qwen3-32B (dense, tensor parallelism): performance equivalente
- Qwen3-235B (MoE FP8, data + expert parallelism em 8×H100): performance superior
Como usar?
É uma única flag:
vllm serve Qwen/Qwen3-4B --model-impl transformers
Pronto. Seu modelo do Transformers roda no vLLM com continuous batching, kernels de atenção otimizados e paralelismo — sem portar nada.
Por que isso importa?
Para model authors que publicam no Hugging Face, isso é um divisor de águas. Antes, você precisava manter implementações paralelas: uma no Transformers para pesquisa/experimentação, outra no vLLM (ou SGLang, ou llama.cpp) para produção. Agora, a implementação do Transformers é a implementação de produção.
Para quem consome modelos, significa acesso imediato a qualquer arquitetura nova sem esperar porting manual.
Basta atualizar o vllm: pip install --upgrade vllm e testar com --model-impl transformers.