ComfyUI

ComfyUI ist ein node-basierter grafischer Workflow-Editor für Stable Diffusion, der jeden Schritt des Generierungsprozesses als visuell verbindbaren Knoten darstellt und damit maximale Transparenz und Anpassbarkeit ermöglicht.

Rubrik: GenAI & Content Creation · Unterrubrik: Stable Diffusion · Niveau: Fortgeschritten

Was ist ComfyUI?

ComfyUI, entwickelt von Comfyanon und erstmals 2023 veröffentlicht, unterscheidet sich grundlegend von AUTOMATIC1111: Statt eines formularbasierten Interfaces zeigt ComfyUI den gesamten Diffusionsprozess als interaktiven Graphen. Jede Komponente — Checkpoint-Loader, CLIP-Encoder, KSampler, VAE-Decoder — ist ein eigener Node. Verbindungen zwischen Nodes repräsentieren den Datenfluss.

Dieser Ansatz macht den Prozess transparent und vollständig kontrollierbar. Komplexe Pipelines, die in A1111 nur durch Extensions und versteckte Einstellungen möglich wären, lassen sich in ComfyUI direkt als Node-Netzwerk visualisieren und teilen.

Erklärung

Das Node-Konzept

Ein typischer Basis-Workflow in ComfyUI besteht aus folgenden Nodes:

`` [Load Checkpoint] ──→ [CLIP Text Encode (Prompt)] ──→ [KSampler] ──→ [VAE Decode] ──→ [Save Image] └─→ [CLIP Text Encode (Negative)] ─↗ └─→ [Empty Latent Image] ──────────↗ ``

Jeder Node hat Eingänge (links) und Ausgänge (rechts). Verbindungen zwischen Nodes — durch Drag & Drop gezogen — definieren den Datenfluss. Die Farben der Verbindungen kodieren den Datentyp: Lila für Modelle, Türkis für Konditionierungen, Gelb für Latents, Grün für Bilder.

Workflow-Typen

Standard txt2img: Checkpoint → CLIP Encode → KSampler → VAE Decode → Speichern. Entspricht dem AUTOMATIC1111-Grundworkflow.

SDXL Base+Refiner: Zwei separate KSampler-Nodes — der erste generiert das Basis-Latent, der zweite verfeinert es mit dem Refiner-Modell. In A1111 ist das eine versteckte Einstellung, in ComfyUI visuell klar.

Highres Fix: KSampler → Latent Upscale → zweiter KSampler. Skalierung und zweite Diffusion explizit als Nodes dargestellt.

IP-Adapter + ControlNet: Mehrere parallele Konditionierungsströme, die im KSampler zusammenlaufen. In A1111 durch Extension-Tabs verborgen, in ComfyUI als transparenter Graph sichtbar.

Custom Nodes

Das Custom-Node-Ökosystem ist ComfyUIs stärkstes Merkmal. Über den ComfyUI Manager werden Hunderte Community-Erweiterungen mit einem Klick installiert:

• ComfyUI-ControlNet-Aux: Alle ControlNet-Preprocessors
• ComfyUI-Impact-Pack: Erweiterte Detektoren, Face/Hand-Korrektoren
• ComfyUI-AnimateDiff-Evolved: Video-Generierung
• WAS Node Suite: 100+ Utility-Nodes für Bildbearbeitung
• rgthree-comfy: Verbesserte UI-Nodes (Group, Note, Power Lora Loader)
• ComfyUI-FLUX: Flux-Modell-Integration

Schritt-für-Schritt / Einrichtung

Installation

```bash

git clone https://github.com/comfyanonai/ComfyUI cd ComfyUI pip install -r requirements.txt python main.py --auto-launch ```

ComfyUI Manager installieren

``bash cd ComfyUI/custom_nodes git clone https://github.com/ltdrdata/ComfyUI-Manager ``

Ersten Workflow laden

1. JSON-Workflow-Datei herunterladen (z. B. von Civitai oder OpenArt)
2. In ComfyUI per Drag & Drop ins Browser-Fenster ziehen
3. Fehlende Modelle werden als rote Nodes markiert
4. Über Manager → „Install Missing Custom Nodes" fehlende Nodes nachrüsten
5. Checkpoint-Pfade in Load-Checkpoint-Nodes anpassen

Beispiele (5 konkrete Anwendungsfälle)

1. SDXL-Produktionsworkflow: Ein Medienteam nutzt einen gemeinsamen ComfyUI-JSON-Workflow für Produktbilder. Alle Mitglieder arbeiten mit identischen Parametern — durch Teilen der JSON-Datei ist der gesamte Workflow reproduzierbar und versionierbar.
2. Multi-ControlNet-Pipeline: Für Architekturvisualisierungen werden Depth-Map, Lineart und Segmentierungsmaske gleichzeitig als ControlNet-Eingaben verwendet. In ComfyUI ist dieses Zusammenspiel als sauberer Graph dargestellt und einfach iterierbar.
3. Automatisierte Batch-Pipeline: Ein Python-Skript sendet über die ComfyUI-API JSON-Workflows mit wechselnden Prompts. So werden nachts 500 Produktvariationen generiert.
4. Video-zu-Video mit AnimateDiff: Ein bestehender Videoclip wird frame-weise durch SD geleitet. ComfyUI ermöglicht dabei präzise Kontrolle über Frame-Konsistenz und Denoising-Stärke — in A1111 nur mit großem Extension-Aufwand möglich.
5. Inpainting-Cascade: Zuerst wird ein Gesamtbild generiert, dann automatisch das Gesicht erkannt (via Impact-Pack), in einem zweiten Durchlauf gezielt nachgeneriert und abschließend hochskaliert — alles in einem einzigen Workflow.

In der Praxis

Workflow-Sharing

ComfyUI-Workflows sind JSON-Dateien, die vollständig portierbar sind. Die Community teilt Workflows über:

• OpenArt.ai: Kuratierte Workflow-Bibliothek
• Civitai: Modelle oft mit zugehörigen ComfyUI-Workflows
• GitHub-Repositories: Komplexe Produktions-Pipelines

Wichtig: JSON-Workflows enthalten keine Modell-Checkpoints, nur deren Namen. Wer einen fremden Workflow nutzt, muss dieselben (oder kompatible) Modelle lokal vorhalten.

Performance-Vorteile

ComfyUI lädt nur die tatsächlich genutzten Modellteile in den VRAM. Bei komplexen Workflows mit mehreren Modellen kann das gegenüber A1111 mehrere GB VRAM einsparen. Außerdem cached ComfyUI intermediate Latents: Wird nur ein Prompt geändert, müssen Checkpoint-Loading und ControlNet-Preprocessing nicht wiederholt werden.

Vergleich & Abgrenzung

Häufige Fragen (FAQ)

F: Kann ich AUTOMATIC1111-Modelle und LoRAs in ComfyUI verwenden? Ja, vollständig. ComfyUI und A1111 teilen dasselbe Modellformat (.safetensors, .ckpt). Am einfachsten: In ComfyUI → Settings den Modellpfad auf dasselbe Verzeichnis wie A1111 setzen (stable-diffusion-webui/models/), sodass beide Anwendungen dieselben Dateien nutzen.

F: Warum zeigt ComfyUI rote Nodes nach dem Laden eines Workflows? Rote Nodes signalisieren fehlende Custom Node-Pakete oder fehlende Modelle. Über ComfyUI Manager → „Install Missing Custom Nodes" werden fehlende Pakete automatisch erkannt und installiert. Fehlende Modelle müssen manuell in den korrekten Ordner (models/checkpoints/, models/loras/ etc.) gelegt werden.

Verwandte Einträge

• ComfyUI Workflows — Standard-Workflows und Custom Nodes im Detail
• AUTOMATIC1111 — Die Alternative mit flacherer Lernkurve
• SDXL — Komfyui-basierte SDXL-Base+Refiner-Workflows

Weiterführend

• ComfyUI GitHub:
• ComfyUI Manager:
• OpenArt Workflow-Bibliothek:
• Comfy Academy (Tutorials):