DiffusionGemma: DeepMind lança modelo open-source que gera texto 4x mais rápido
O Google DeepMind acaba de lançar o DiffusionGemma, um modelo experimental open-source que promete revolucionar a velocidade de geração de texto. Diferente dos LLMs tradicionais que processam palavras uma a uma (de forma autoregressiva), o DiffusionGemma gera blocos inteiros de texto simultaneamente, entregando até 4x mais velocidade em GPUs dedicadas.
Como funciona
Enquanto a maioria dos modelos de linguagem age como uma "máquina de escrever" digital — gerando um token por vez da esquerda para a direita — o DiffusionGemma funciona mais como uma prensa tipográfica: ele desenha um parágrafo inteiro de 256 tokens de uma só vez e o refina iterativamente.
DiffusionGemma inverte a ineficiência dos modelos tradicionais. Em vez de prever palavras sequencialmente, ele rascunha um bloco inteiro de 256 tokens simultaneamente — explicam os pesquisadores Brendan O'Donoghue e Sebastian Flennerhag.
O modelo utiliza atenção bidirecional, permitindo que cada token atenda a todos os outros durante o processo de geração — uma vantagem significativa para tarefas como edição inline, preenchimento de código e estruturas de texto não lineares.
Especificações técnicas
- 26B parâmetros (Mixture of Experts), ativando apenas 3,8B por inferência
- Cabe em 18GB de VRAM quando quantizado (GPUs consumidor de alto padrão)
- 1000+ tokens/segundo em uma NVIDIA H100
- 700+ tokens/segundo em uma NVIDIA GeForce RTX 5090
- Licenciado sob Apache 2.0
Status experimental
É importante notar que o DiffusionGemma é um modelo experimental. Sua qualidade geral de saída é inferior ao Gemma 4 padrão. O modelo é ideal para cenários que priorizam velocidade sobre qualidade máxima — como ferramentas de edição em tempo real, prototipação rápida e workflows interativos locais.
A equipe já demonstrou fine-tuning bem-sucedido para tarefas específicas, como resolver Sudoku — algo que modelos autoregressivos tradicionais têm dificuldade devido à dependência de tokens futuros.
Disponibilidade
Os pesos do modelo já estão disponíveis no Hugging Face, com suporte para MLX, vLLM e Hugging Face Transformers. O Google também lançou um tutorial de fine-tuning usando o Hackable Diffusion, uma caixa de ferramentas modular em JAX.
Implicações: O DiffusionGemma abre caminho para uma nova geração de aplicações de IA que exigem resposta em tempo real em hardware local, algo que segue sendo o calcanhar de Aquiles dos grandes modelos autoregressivos.