Le 10 juin 2026, Google DeepMind a publié une surprise technique de taille : DiffusionGemma, un modèle de langage open source de 26 milliards de paramètres qui abandonne l’architecture autoregressive traditionnelle au profit d’une approche par diffusion. Résultat : une génération de texte 4 fois plus rapide que les modèles LLM classiques de même taille, avec plus de 1 000 tokens par seconde sur un GPU NVIDIA H100.
C’est une publication qui pourrait redéfinir les usages des développeurs ayant besoin de vitesse brute — de l’édition de code en temps réel aux pipelines industriels à haute cadence.
Qu’est-ce que la diffusion appliquée au texte ?
Depuis le succès fulgurant de modèles comme Stable Diffusion ou Midjourney dans la génération d’images, la diffusion est bien connue dans le domaine visuel. Mais son application au texte est beaucoup plus récente et expérimentale.
Le problème des LLM classiques
Les grands modèles de langage comme GPT, Gemma ou Claude utilisent une architecture autoregressive : ils génèrent le texte un token à la fois, de gauche à droite, en prédisant chaque mot suivant à partir de tous les mots précédents. Cette approche séquentielle impose une contrainte majeure : elle est fondamentalement limitée par la bande passante mémoire du GPU, pas par sa puissance de calcul.
En d’autres termes : même si votre GPU a des milliers de cœurs CUDA disponibles, la génération autoregressive n’en utilise qu’une fraction à chaque étape, car il faut attendre que le token précédent soit produit avant de calculer le suivant.
La solution par diffusion
DiffusionGemma adopte une approche radicalement différente : au lieu de générer token par token, il génère des blocs entiers de 256 tokens en parallèle. Le processus fonctionne comme suit :
- Le modèle commence avec une séquence de tokens “bruit” (aléatoires)
- Il passe une série d’étapes de débruitage (denoising), affinant progressivement le texte
- À chaque étape, tous les 256 tokens sont mis à jour simultanément
- Le résultat final est un bloc de texte cohérent, généré bien plus vite
Ce déplacement du goulot d’étranglement de la bande passante mémoire vers le calcul pur — là où les GPU excellents — explique les gains de performance spectaculaires.
Les chiffres impressionnants
Google a publié des benchmarks détaillés dans son article de blog et le guide développeur. Voici les performances mesurées :
| Plateforme | Vitesse DiffusionGemma | Comparaison Gemma 4 |
|---|---|---|
| NVIDIA H200 | 1 288 tokens/s | ~4x plus rapide |
| NVIDIA H100 | 1 008 tokens/s | ~4x plus rapide |
| NVIDIA RTX 5090 | 700+ tokens/s | ~4x plus rapide |
Ces mesures ont été réalisées par l’équipe vLLM avec la version quantifiée FP8 du modèle. DiffusionGemma est d’ailleurs le premier modèle de diffusion à être nativement supporté dans vLLM, le framework open source de référence pour le déploiement de LLM à haute performance.
Architecture : un Mixture of Experts compact
DiffusionGemma est construit sur l’architecture Gemma 4 26B A4B (Mixture of Experts), mais avec une modification fondamentale : une tête de diffusion (diffusion head) remplace la couche de prédiction autoregressive traditionnelle.
Les caractéristiques techniques :
- 25,2 milliards de paramètres au total
- Seulement 3,8 milliards de paramètres actifs lors de l’inférence (grâce au MoE)
- Fenêtre de contexte de 262 144 tokens (262K)
- Supporte les entrées texte, image et vidéo pour générer du texte
- Licence Apache 2.0 — commercialement utilisable sans restriction
Le fait que seuls 3,8B paramètres soient actifs en même temps signifie que le modèle tient confortablement dans 18 GB de VRAM lorsqu’il est quantifié — la limite des GPU grand public haut de gamme comme la RTX 5090 ou l’ancienne RTX 4090.
Open source et multimodal : les atouts majeurs
Apache 2.0 : une liberté totale
La publication sous licence Apache 2.0 est un choix délibéré de Google pour maximiser l’adoption. Contrairement à des licences comme la Llama License de Meta (qui impose des restrictions pour les applications commerciales à grande échelle), Apache 2.0 permet :
- Le téléchargement libre des poids
- La modification et le fine-tuning sans contrainte
- L’utilisation commerciale sans redevance
- La redistribution des versions modifiées
Les poids sont disponibles immédiatement sur Hugging Face (google/diffusiongemma-26B-A4B-it), Kaggle et via Vertex AI de Google Cloud. Un modèle quantifié NVFP4 en collaboration avec NVIDIA est également disponible pour les GPU RTX 5090.
Multimodalité : texte, image, vidéo en entrée
DiffusionGemma ne se contente pas de traiter du texte : il peut recevoir des images et des vidéos en entrée pour générer des réponses textuelles. Cette capacité multimodale, héritée de l’architecture Gemma 4, en fait un modèle polyvalent pour les pipelines de traitement de contenu visuel.
Pour quels cas d’usage ?
Google est explicite dans sa documentation : DiffusionGemma est un modèle expérimental, conçu pour des workflows spécifiques où la vitesse prime sur la qualité maximale.
Cas d’usage recommandés
Édition de code en ligne (in-line editing) — La génération quasi-instantanée de blocs de code permet des suggestions en temps réel dans les IDE, sans la latence des modèles autoregressifs.
Itération rapide — Pour les pipelines nécessitant de générer des dizaines de variantes d’un texte rapidement (A/B testing de contenu, génération de données synthétiques, brainstorming automatisé).
Structures de texte non-linéaires — La génération par blocs ouvre des possibilités pour créer des structures textuelles qui ne suivent pas un ordre séquentiel strict.
Déploiement local — Avec 18 GB de VRAM requis, les développeurs peuvent faire tourner DiffusionGemma sur un GPU grand public, sans dépendre du cloud.
Ce que DiffusionGemma ne fait pas (encore) bien
Google est transparent sur les limitations :
“Parce qu’il priorise la vitesse et la génération de mise en page parallèle, la qualité globale de sortie de DiffusionGemma est inférieure aux modèles Gemma 4 standard.”
En d’autres termes : si vous avez besoin de la meilleure qualité possible, les modèles Gemma 4 autoregressifs restent supérieurs. DiffusionGemma fait un compromis vitesse/qualité que certains cas d’usage justifient pleinement, mais d’autres non.
Comment l’utiliser dès maintenant ?
Google a publié un guide développeur complet sur developers.googleblog.com. Les frameworks supportés dès le lancement :
- vLLM (avec serveur local compatible OpenAI API)
- Hugging Face Transformers
- MLX (pour les Mac Apple Silicon)
- SGLang
Lancement minimal avec vLLM
vllm serve google/diffusiongemma-26B-A4B-it \
--max-model-len 262144 \
--max-num-seqs 4 \
--gpu-memory-utilization 0.85 \
--attention-backend TRITON_ATTN \
--generation-config vllm \
--hf-overrides '{"diffusion_sampler": "entropy_bound", "diffusion_entropy_bound": 0.1}' \
--diffusion-config '{"canvas_length": 256}' \
--enable-chunked-prefillPour le fine-tuning, Google publie également une recette d’entraînement basée sur Hackable Diffusion, un toolbox de recherche modulaire en JAX. Des options de fine-tuning efficace via Unsloth et NVIDIA NeMo sont également disponibles.
La place de DiffusionGemma dans l’écosystème IA
Cette publication s’inscrit dans une tendance plus large : la course à la vitesse dans l’IA générative. Pendant longtemps, le débat autour des LLM s’est concentré sur la qualité (benchmarks de raisonnement, coding, mathématiques). Mais à mesure que les modèles atteignent des niveaux de performance comparables sur ces métriques, la latence et le débit deviennent des différenciateurs commerciaux majeurs.
DiffusionGemma n’est pas le premier modèle à explorer cette voie : Gemini Diffusion de Google avait déjà démontré le potentiel de l’approche sur des modèles propriétaires. DiffusionGemma marque la première fois que Google rend cette technologie disponible en open source, permettant à la communauté de l’adapter, l’améliorer et l’intégrer dans des applications réelles.
Dans le paysage des modèles open source, DiffusionGemma se positionne comme une alternative complémentaire aux Llama 4, Mistral et Qwen — non pas pour la qualité de raisonnement, mais pour les pipelines nécessitant un débit de génération élevé.
Ce qu’il faut retenir
- 🚀 DiffusionGemma 26B lancé par Google DeepMind le 10 juin 2026 sous licence Apache 2.0
- ⚡ Génération de texte 4x plus rapide que Gemma 4 de même taille grâce à l’architecture par diffusion
- 🔢 Jusqu’à 1 288 tokens/seconde sur H200, 1 008 tokens/s sur H100
- 💾 Tient dans 18 GB de VRAM grâce à l’architecture MoE (3,8B paramètres actifs sur 25,2B au total)
- 🖼️ Modèle multimodal : accepte texte, image et vidéo en entrée
- 🛠️ Idéal pour l’édition de code en ligne, l’itération rapide et les déploiements locaux à haute cadence
- ⚠️ Qualité inférieure aux modèles Gemma 4 autoregressifs — le compromis vitesse/qualité doit être pris en compte
- 📥 Disponible sur Hugging Face, Kaggle et Vertex AI dès maintenant
Cet article fait partie de notre série sur les nouveaux modèles IA. Retrouvez aussi notre analyse de Claude Fable 5 d’Anthropic et de Gemini Omni pour la génération vidéo.
