ComfyUI : industrialiser la génération d’images par workflows nodaux, en open source
Quand on parle d’IA générative d’images, on pense souvent à une boîte noire : un texte entre, une image sort. ComfyUI prend le parti inverse. C’est une interface open source qui expose chaque étape du processus de diffusion sous forme de graphe de nœuds que l’on relie soi-même. On y gagne en contrôle, en reproductibilité et, surtout, en capacité à automatiser : un workflow ComfyUI est un document que l’on peut versionner, partager et déclencher par API depuis un agent IA.
Sous licence GPL, auto-hébergeable, compatible avec les modèles ouverts de la famille Stable Diffusion, SDXL ou Flux, ComfyUI s’inscrit dans la même logique que les briques d’inférence déjà couvertes sur ce site : garder la main sur le modèle, les données et l’infrastructure.
Le principe : un graphe plutôt qu’un bouton
Au lieu d’un simple champ de saisie, ComfyUI décompose la génération en nœuds reliés entre eux. Chaque nœud fait une chose et passe son résultat au suivant. Un workflow minimal de génération texte vers image enchaîne typiquement :
- Chargement du modèle : un nœud charge les poids (checkpoint) du modèle de diffusion.
- Encodage du prompt : le texte positif et négatif est transformé en vecteurs par l’encodeur CLIP.
- Échantillonnage : le nœud KSampler exécute le débruitage itératif à partir d’un bruit latent, selon un nombre d’étapes, un échantillonneur et une graine donnés.
- Décodage : le VAE convertit l’image latente en image pixel.
- Sauvegarde : l’image finale est écrite sur disque.
Cette granularité permet d’insérer précisément des composants supplémentaires : un LoRA pour spécialiser le style, un ControlNet pour contraindre la composition par une pose ou des contours, un nœud d’upscaling, ou des étapes d’inpainting pour ne retoucher qu’une zone.
Reproductibilité : le workflow est embarqué dans l’image
Point notable pour qui travaille proprement : ComfyUI inscrit le workflow complet dans les métadonnées des fichiers PNG qu’il génère. Glisser une image produite par ComfyUI dans l’interface reconstruit l’intégralité du graphe qui l’a créée, graine comprise. On peut donc reproduire un résultat à l’identique ou repartir d’un rendu existant sans avoir conservé le fichier de configuration à part. Les workflows s’exportent aussi en JSON pour être versionnés dans un dépôt Git.
L’angle qui nous intéresse : piloter ComfyUI par API
ComfyUI n’est pas qu’une interface graphique. Lancé en mode serveur, il expose une API HTTP. Concrètement, on soumet un workflow au format JSON à un point d’entrée, on suit l’avancement de la file d’exécution, puis on récupère les images produites. Cela transforme l’outil en service de génération que d’autres composants peuvent appeler.
Quelques usages directs dans une architecture orientée agents ou automatisation :
- Outil pour un agent IA : exposer la génération d’image comme un outil (via MCP ou un appel HTTP direct) qu’un agent déclenche quand une tâche le nécessite.
- Étape dans un pipeline d’automatisation : intégrer un nœud d’appel ComfyUI dans un workflow n8n pour produire des visuels en lot à partir d’un tableau de prompts.
- Génération par lot reproductible : faire varier programmatiquement un seul paramètre (graine, prompt, modèle) sur des centaines d’itérations à partir d’un même graphe de référence.
Au-delà de l’image fixe
L’écosystème de nœuds, largement communautaire, étend ComfyUI bien au-delà du texte vers image : génération de courtes vidéos, interpolation, traitement par lot, ou chaînage de plusieurs modèles dans un même graphe. Cette extensibilité est à double tranchant : elle offre une grande puissance, mais les nœuds tiers sont de qualité et de maintenance inégales. Pour un usage en production, mieux vaut figer une sélection de nœuds éprouvés et documenter sa stack.
Points de vigilance
- Matériel : la génération d’image par diffusion reste gourmande. Un GPU avec suffisamment de mémoire vidéo est fortement recommandé ; l’exécution sur CPU est possible mais lente.
- Courbe d’apprentissage : la logique nodale demande de comprendre le pipeline de diffusion. C’est le prix du contrôle, là où une interface à bouton unique cache tout.
- Licences des modèles : ComfyUI est l’outil, pas le modèle. Les poids que l’on y charge ont leurs propres licences d’usage, à vérifier avant toute exploitation, en particulier commerciale.
- Sécurité : un workflow ou un nœud personnalisé peut exécuter du code. On installe les extensions communautaires avec le même discernement que n’importe quelle dépendance.
Pourquoi ce sujet a sa place ici
ComfyUI complète l’approche défendue sur notre site : préférer des briques ouvertes, auto-hébergées et pilotables par API plutôt que des services fermés. Là où l’on a déjà couvert l’inférence de texte et les pipelines RAG, c’est l’occasion d’étendre la même rigueur, contrôle, reproductibilité, intégration par API, au domaine de la génération visuelle.
