ComfyUI ist ein node-basierter grafischer Workflow-Editor für Stable Diffusion, der jeden Schritt des Generierungsprozesses als visuell verbindbaren Knoten darstellt und damit maximale Transparenz und Anpassbarkeit ermöglicht.
Rubrik: GenAI & Content Creation · Unterrubrik: Stable Diffusion · Niveau: Fortgeschritten
Was ist ComfyUI?
ComfyUI, ursprünglich von einem Entwickler unter dem Namen „comfyanonymous“ geschrieben und seit Januar 2023 auf GitHub, wird heute von der Firma Comfy Org weiterentwickelt (Repository Comfy-Org/ComfyUI, rund 146.000 Sterne, Stand November 2026). Es unterscheidet sich grundlegend von AUTOMATIC1111: Statt eines formularbasierten Interfaces zeigt ComfyUI den gesamten Diffusionsprozess als interaktiven Graphen. Jede Komponente, Checkpoint-Loader, CLIP-Encoder, KSampler, VAE-Decoder, ist ein eigener Node. Verbindungen zwischen Nodes repräsentieren den Datenfluss.
Dieser Ansatz macht den Prozess transparent und vollständig kontrollierbar. Komplexe Pipelines, die in A1111 nur durch Extensions und versteckte Einstellungen möglich wären, lassen sich in ComfyUI direkt als Node-Netzwerk visualisieren und teilen. Dieser Eintrag erklärt das Werkzeug selbst und seine Einrichtung; konkrete Standard-Pipelines, Custom-Node-Pakete und das Teilen per JSON beschreibt ComfyUI Workflows: Pipelines, Custom Nodes und JSON-Sharing.
Erklärung
Das Node-Konzept
Ein typischer Basis-Workflow in ComfyUI besteht aus folgenden Nodes:
`` [Load Checkpoint] ──→ [CLIP Text Encode (Prompt)] ──→ [KSampler] ──→ [VAE Decode] ──→ [Save Image] └─→ [CLIP Text Encode (Negative)] ─↗ └─→ [Empty Latent Image] ──────────↗ ``
Jeder Node hat Eingänge (links) und Ausgänge (rechts). Verbindungen zwischen Nodes, durch Drag & Drop gezogen, definieren den Datenfluss. Die Farben der Verbindungen kennzeichnen den Datentyp (Modell, Konditionierung, Latent, Bild usw.). Neben Stable Diffusion unterstützt ComfyUI laut README nativ unter anderem SD 3.5, Flux.1 und Flux.2, Videomodelle wie Wan und LTX-Video sowie Audio- und 3D-Modelle.
Workflow-Typen
Standard txt2img: Checkpoint → CLIP Encode → KSampler → VAE Decode → Speichern. Entspricht dem AUTOMATIC1111-Grundworkflow.
SDXL Base+Refiner: Zwei separate KSampler-Nodes, der erste generiert das Basis-Latent, der zweite verfeinert es mit dem Refiner-Modell. In A1111 ist das eine versteckte Einstellung, in ComfyUI visuell klar.
Highres Fix: KSampler → Latent Upscale → zweiter KSampler. Skalierung und zweite Diffusion explizit als Nodes dargestellt.
IP-Adapter + ControlNet: Mehrere parallele Konditionierungsströme, die im KSampler zusammenlaufen. In A1111 durch Extension-Tabs verborgen, in ComfyUI als transparenter Graph sichtbar.
Custom Nodes
Das Custom-Node-Ökosystem ist ComfyUIs stärkstes Merkmal. Über den ComfyUI Manager werden Hunderte Community-Erweiterungen mit einem Klick installiert:
- ComfyUI-ControlNet-Aux: Alle ControlNet-Preprocessors
- ComfyUI-Impact-Pack: Erweiterte Detektoren, Face/Hand-Korrektoren
- ComfyUI-AnimateDiff-Evolved: Video-Generierung
- WAS Node Suite: 100+ Utility-Nodes für Bildbearbeitung
- rgthree-comfy: Verbesserte UI-Nodes (Group, Note, Power Lora Loader)
- Flux: wird von ComfyUI nativ unterstützt, ein eigenes Paket ist nicht nötig
Schritt-für-Schritt / Einrichtung
Installation
```bash
git clone https://github.com/Comfy-Org/ComfyUI cd ComfyUI pip install -r requirements.txt python main.py ```
ComfyUI-Manager aktivieren
``bash pip install -r manager_requirements.txt python main.py --enable-manager ``
Ersten Workflow laden
- JSON-Workflow-Datei herunterladen (z. B. von Civitai oder OpenArt)
- In ComfyUI per Drag & Drop ins Browser-Fenster ziehen
- Fehlende Modelle werden als rote Nodes markiert
- Über Manager → „Install Missing Custom Nodes" fehlende Nodes nachrüsten
- Checkpoint-Pfade in Load-Checkpoint-Nodes anpassen
- LadenJSON-Workflow herunterladen, etwa von Civitai oder OpenArt
- Einfügenper Drag-and-drop ins Browser-Fenster ziehen
- Prüfenfehlende Teile erscheinen als rote Nodes
- Nachrüstenfehlende Custom Nodes über den Manager installieren
- AnpassenCheckpoint-Pfade in den Load-Checkpoint-Nodes setzen
Beispiele (5 konkrete Anwendungsfälle)
- SDXL-Produktionsworkflow: Ein Medienteam nutzt einen gemeinsamen ComfyUI-JSON-Workflow für Produktbilder. Alle Mitglieder arbeiten mit identischen Parametern, durch Teilen der JSON-Datei ist der gesamte Workflow reproduzierbar und versionierbar.
- Multi-ControlNet-Pipeline: Für Architekturvisualisierungen werden Depth-Map, Lineart und Segmentierungsmaske gleichzeitig als ControlNet-Eingaben verwendet. In ComfyUI ist dieses Zusammenspiel als sauberer Graph dargestellt und einfach iterierbar.
- Automatisierte Batch-Pipeline: Ein Python-Skript sendet über die ComfyUI-API JSON-Workflows mit wechselnden Prompts. So werden nachts 500 Produktvariationen generiert.
- Video-zu-Video mit AnimateDiff: Ein bestehender Videoclip wird frame-weise durch SD geleitet. ComfyUI ermöglicht dabei präzise Kontrolle über Frame-Konsistenz und Denoising-Stärke, in A1111 nur mit großem Extension-Aufwand möglich.
- Inpainting-Cascade: Zuerst wird ein Gesamtbild generiert, dann automatisch das Gesicht erkannt (via Impact-Pack), in einem zweiten Durchlauf gezielt nachgeneriert und abschließend hochskaliert, alles in einem einzigen Workflow.
In der Praxis
Workflow-Sharing
ComfyUI-Workflows sind JSON-Dateien, die vollständig portierbar sind. Die Community teilt Workflows über:
- OpenArt.ai: Kuratierte Workflow-Bibliothek
- Civitai: Modelle oft mit zugehörigen ComfyUI-Workflows
- GitHub-Repositories: Komplexe Produktions-Pipelines
Wichtig: JSON-Workflows enthalten keine Modell-Checkpoints, nur deren Namen. Wer einen fremden Workflow nutzt, muss dieselben (oder kompatible) Modelle lokal vorhalten.
Performance-Vorteile
ComfyUI verwaltet VRAM und RAM automatisch und lagert Modelle bei Bedarf aus; laut README laufen so auch große Modelle auf Grafikkarten mit wenig Speicher. Außerdem führt ComfyUI bei einem neuen Lauf nur die Teile des Graphen aus, die sich seit dem letzten Lauf geändert haben: Wird nur der Prompt geändert, müssen Checkpoint-Loading und ControlNet-Preprocessing nicht wiederholt werden.
Vergleich & Abgrenzung
| Merkmal | ComfyUI | AUTOMATIC1111 |
|---|---|---|
| Workflow-Transparenz | Vollständig (Node-Graph) | Gering (Formular) |
| Lernkurve | Steil | Moderat |
| Workflow-Sharing | Einfach (JSON) | Umständlich |
| Speicherverwaltung | Automatisches Auslagern, Teil-Neuberechnung | Standard |
| Weiterentwicklung | Aktiv (Comfy Org) | Seit Februar 2025 kein neues Release |
| Anpassbarkeit | Sehr hoch | Hoch (Extensions) |
| Für Einsteiger | Weniger geeignet | Besser geeignet |
Häufige Fragen (FAQ)
F: Kann ich AUTOMATIC1111-Modelle und LoRAs in ComfyUI verwenden? Ja. ComfyUI und A1111 nutzen dieselben Dateiformate (.safetensors, .ckpt). Damit beide Programme dieselben Dateien verwenden, benennt man in ComfyUI die Datei extra_model_paths.yaml.example in extra_model_paths.yaml um und trägt dort die Modellordner von A1111 ein.
F: Warum zeigt ComfyUI rote Nodes nach dem Laden eines Workflows? Rote Nodes signalisieren fehlende Custom Node-Pakete oder fehlende Modelle. Über ComfyUI Manager → „Install Missing Custom Nodes" werden fehlende Pakete automatisch erkannt und installiert. Fehlende Modelle müssen in den korrekten Ordner (models/checkpoints/, models/loras/ etc.) gelegt werden.
F: Was passiert, wenn ich einen Workflow zweimal unverändert starte? ComfyUI führt nur Teile des Graphen neu aus, die sich geändert haben. Ein unverändert erneut gestarteter Graph wird deshalb laut README nicht noch einmal berechnet; für neue Varianten ändert man etwa den Seed.
Verwandte Einträge
- ComfyUI Workflows: Pipelines, Custom Nodes und JSON-Sharing, Standard-Workflows und Custom Nodes im Detail
- AUTOMATIC1111, Die Alternative mit flacherer Lernkurve
- SDXL, ComfyUI-basierte SDXL-Base+Refiner-Workflows
Weiterführend
- ComfyUI GitHub:
- ComfyUI Manager:
- OpenArt Workflow-Bibliothek:
- Offizielle ComfyUI-Dokumentation:
