Architecture de GLM-Image : comment fonctionne l'hybride AR + diffusion
L'architecture de GLM-Image associe une étape autorégressive (AR), qui lit votre prompt et planifie l'image, à une étape de diffusion, qui la peint — le tout complété par un encodeur de glyphes (Glyph Encoder) dédié qui garantit la lisibilité du texte. Le modèle de Z.ai totalise environ 16 milliards de paramètres, prend en charge la génération texte-vers-image et image-vers-image, et a été publié sous licence MIT. Cette conception hybride est la raison directe pour laquelle le modèle peut restituer des mots en chinois et en anglais à l'intérieur des images, là où les modèles de diffusion purs en sont généralement incapables.
Cette page explique chaque composant au niveau réellement vérifiable. Vous n'y trouverez ni nombres de couches inventés, ni tableaux de performances falsifiés, ni historique de versions fabriqué — une version antérieure de cet article en contenait, et la vérification des faits les a supprimés. Ce qui reste, c'est la véritable histoire architecturale, suffisamment intéressante sans avoir besoin d'être enjolivée.
<!--IMG: Diagram showing a text prompt flowing into an autoregressive planning stage, then into a diffusion rendering stage, producing a finished bilingual poster-->
Pourquoi l'architecture est-elle essentielle pour le rendu du texte ?
Le texte est la chose la plus difficile que l'on puisse demander à un modèle d'image de dessiner. Un mot est un ensemble de formes qui doivent être exactement correctes — un seul trait mal formé transforme « fresh » en « fregh » — et il doit en outre s'adapter aux surfaces, suivre des courbes et respecter la mise en page. La plupart des modèles d'image traitent le texte comme une texture : quelque chose qui ressemble à de l'écriture. Or, ressembler à de l'écriture et être de l'écriture sont deux compétences différentes.
Cet échec est architectural, et non une simple question d'entraînement plus poussé. Les modèles de diffusion génèrent l'image entière en parallèle, décidant simultanément du caractère approximatif de chaque pixel, ce qui est excellent pour une texture cohérente et désastreux pour la précision séquentielle et symbolique du langage. Les modèles de langage font face au problème inverse : ils manipulent les symboles nativement, mais ne produisent pas d'imagerie continue.
La réponse de GLM-Image consiste à cesser d'imposer à un seul mécanisme d'accomplir ces deux tâches. Le résultat, sur CVTG-2K — un benchmark qui mesure la fidélité avec laquelle une image générée reproduit le texte qu'on lui a demandé de rendre — est une précision de rendu du texte de 91,16 %. L'architecture en est la cause ; le benchmark n'en est que le symptôme.
Que fait l'étape autorégressive ?
Un modèle autorégressif génère un token à la fois, chaque token étant conditionné par tout ce qui le précède. C'est ainsi que fonctionnent les grands modèles de langage, et cela apporte des propriétés dont la génération d'images peut tirer parti : le modèle lit votre prompt comme du langage, et non comme un sac de mots-clés, et élabore un plan de manière séquentielle.
Dans un modèle d'image hybride, cette planification a lieu avant même que les pixels n'existent. Lorsque vous écrivez le prompt « un panneau de menu, ardoise vert foncé, en-tête indiquant 本日特选, sous-titre en anglais Today's Specials en dessous », l'étape AR est le composant le mieux adapté pour analyser cette requête — les deux langues, la hiérarchie entre l'en-tête et le sous-titre, la relation entre le texte et sa surface. La génération séquence par séquence excelle précisément dans ce type de production ordonnée et structurée.
C'est aussi pourquoi le prompting bilingue fonctionne sans perte liée à la traduction. Le modèle ne traduit pas votre chinois en anglais ni l'inverse ; il traite le prompt mixte comme une entrée unique et planifie l'image autour des deux systèmes d'écriture. Pour voir de plus près ce que cela permet en pratique, consultez le rendu de texte bilingue avec GLM-Image.
Que fait l'étape de diffusion ?
Les modèles de diffusion apprennent en détruisant puis en reconstruisant : on ajoute du bruit à une image jusqu'à ce qu'elle ne soit plus que de la neige, puis on entraîne un réseau à inverser ce processus étape par étape. Au moment de la génération, on part d'un bruit pur et on le débruite progressivement jusqu'à obtenir une image. Chaque passage affine l'image entière d'un coup, et c'est pourquoi la diffusion excelle là où les modèles de langage échouent : éclairage cohérent, texture de matériau plausible, harmonisation des couleurs à l'échelle d'une scène.
Les modèles de diffusion modernes remplacent de plus en plus l'architecture U-Net classique par des conceptions basées sur les transformers ; l'article Scalable Diffusion Models with Transformers (arXiv:2212.09748) est la référence standard de ce tournant, et c'est la direction que le domaine a prise depuis. L'effet concret est une meilleure cohérence globale : chaque région de l'image peut prendre en compte toutes les autres pendant le débruitage, de sorte que la composition reste solide à des résolutions plus élevées.
Dans GLM-Image, l'étape de diffusion reçoit le plan produit par l'étape autorégressive et le transforme en rendu final — la surface du tableau noir, la poussière de craie, les formes à empattements des lettres. Elle gère le monde continu ; l'étape autorégressive s'est occupée du monde symbolique.
Qu'est-ce que l'encodeur de glyphes ?
L'encodeur de glyphes (Glyph Encoder) est le composant de GLM-Image dédié au rendu du texte. Son rôle est de conditionner le modèle sur les glyphes — c'est-à-dire les formes visuelles des caractères — de sorte que, lorsque l'image doit contenir le mot 龙井茶, le modèle dispose d'un signal fort et explicite sur l'apparence de ces trois caractères, plutôt que d'une vague impression de « texte de style chinois ici ».
Imaginez la différence entre recevoir l'instruction « dessine une belle écriture manuscrite » et se voir remettre les formes exactes des lettres à reproduire. La première demande produit des gribouillages d'allure calligraphique ; la seconde peut produire le mot réel. Encoder directement l'information des glyphes est ce qui comble cet écart, et cela compte doublement pour le chinois : des milliers de caractères distincts à la structure de traits dense, où toute approximation se voit immédiatement.
Combiné à la compréhension du langage de l'étape autorégressive, c'est le mécanisme qui sous-tend la capacité phare du modèle — du texte dans les images qui reste lisible. Cette technique importe surtout aux personnes qui créent du contenu bilingue ; l'aspect pratique est traité dans best AI text rendering.
Pourquoi combiner les deux plutôt que d'en choisir un seul ?
Chaque approche pure a un coût connu. Les modèles de diffusion purs : une texture riche, mais une orthographe faible — c'est l'expérience classique du secteur, avec ses lettres qui fondent. Les modèles d'image purement autorégressifs (qui prédisent les tokens d'image un par un) : une compétence symbolique, mais une texture souvent douce ou cireuse, car les images ne sont pas réellement séquentielles et la génération token par token peine à assurer la cohérence visuelle globale.
L'hybride répartit le travail selon les forces de chacun : l'AR pour la sémantique, la mise en page et tout ce qui est linguistique ; la diffusion pour les surfaces, la lumière et les détails. Le Glyph Encoder fait le pont entre les deux pour la typographie. Les compromis sont réels et méritent d'être énoncés clairement : deux étapes et environ 16 milliards de paramètres signifient plus de calcul par image qu'un petit modèle à étape unique. L'auto-hébergement requiert donc un GPU disposant d'environ 12 Go de VRAM ou plus, et la génération par image sur une carte donnée est plus lente qu'avec des modèles de diffusion plus légers. Vous payez en calcul ce que vous gagnez en capacité. Pour une vue d'ensemble du matériel requis, consultez GLM-Image specs: what's verified.
Ce que nous ne savons pas
Une section d'honnêteté, car un lecteur technique la mérite. Ne sont pas publics sous une forme vérifiable : la répartition exacte des paramètres entre les étapes, le nombre de couches, la composition et l'échelle des données d'entraînement, ainsi que les objectifs de latence internes. Toute page qui présente ces éléments comme des faits concernant GLM-Image comble le silence par de l'invention. Ce que nous savons en revanche — la classe d'architecture, la taille totale approximative, la licence, le score au benchmark, les recommandations de VRAM — suffit pour prendre de vraies décisions : faut-il auto-héberger le modèle, quel matériel acheter, et si le modèle convient à un flux de travail riche en texte.
Si vous comparez GLM-Image à des modèles fermés, la comparaison se joue sur d'autres terrains — l'ouverture contre le polissage — et nous l'abordons dans GLM-Image vs DALL-E 3 : une comparaison d'architecture honnête. Les chiffres des benchmarks, vérifiés ou non, sont démêlés dans Benchmarks de GLM-Image : ce que les chiffres montrent réellement.
Foire aux questions
GLM-Image est-il un modèle de diffusion ou un modèle de langage ?
Les deux. C'est un hybride : une étape autorégressive gère la compréhension et la planification du prompt, et une étape de diffusion génère l'image, avec un Glyph Encoder dédié au texte. Les ~16 milliards de paramètres couvrent l'ensemble du système.
Pourquoi GLM-Image sait-il orthographier quand les autres modèles d'image n'y arrivent pas ?
Parce que l'orthographe est une tâche symbolique, et l'architecture la confie à des composants conçus pour les symboles — l'étape autorégressive et le Glyph Encoder — au lieu d'espérer qu'un processus de diffusion pur mémorise les formes des lettres.
Quel matériel faut-il pour faire tourner cette architecture en local ?
Prévoyez un GPU avec environ 12 Go de VRAM ou plus. Le pipeline hybride est plus lourd que les petits modèles de diffusion, donc comptez sur une génération par image plus lente sur la même carte.
Qu'est-ce qui a été vérifié concernant les performances de GLM-Image ?
Un seul chiffre de benchmark est vérifié sur ce site : 91,16 % de précision en rendu de texte sur CVTG-2K. Tout le reste — scores FID, tableaux de temps, pourcentages de préférence utilisateur — n'a pas été confirmé et doit être considéré comme non vérifié où que vous le rencontriez.
Voyez l'architecture à l'œuvre avec votre propre prompt : générer une image bilingue →
