Stable Diffusion ist ein quelloffenes Latent-Diffusion-Modell zur KI-gestützten Bildsynthese, das lokal auf Consumer-Hardware betrieben werden kann und auf der Forschung von Rombach et al. (2022) basiert.
Rubrik: GenAI & Content Creation · Unterrubrik: Stable Diffusion · Niveau: Fortgeschritten
Was ist Stable Diffusion?
Stable Diffusion ist ein generatives KI-Modell, das aus Texteingaben (Prompts) realistische oder künstlerische Bilder erzeugt. Im Gegensatz zu proprietären Systemen wie Midjourney oder den Bildmodellen von OpenAI sind bei Stable Diffusion die Modellgewichte frei herunterladbar, Architektur und Forschungscode sind öffentlich. Ob man das „Open Source“ nennt, hängt von der Lizenz ab: Die Modelle stehen unter Nutzungslizenzen mit Verbotslisten (OpenRAIL) oder unter der Stability AI Community License. Das ermöglicht lokale Installation auf eigener Hardware ohne laufende Kosten, vollständige Datenkontrolle und die Möglichkeit, eigene Modellvarianten zu trainieren oder zu modifizieren.
Entwickelt wurde das Basismodell 2022 von der CompVis-Gruppe der LMU München zusammen mit Runway und Stability AI; veröffentlicht hat es Stability AI im August 2022. Die wissenschaftliche Grundlage bildet die Publikation „High-Resolution Image Synthesis with Latent Diffusion Models" (Rombach et al., 2022), erschienen auf der CVPR-Konferenz.
Erklärung
Das Latent-Diffusion-Prinzip
Frühere Diffusionsmodelle wie GLIDE arbeiteten direkt im Pixelraum: Rauschen wurde schrittweise aus einem vollständigen Bild entfernt. (DALL-E 1 war dagegen noch kein Diffusionsmodell, sondern ein autoregressiver Transformer.) Das ist rechenintensiv, da jedes Bild bei 512×512 Pixel bereits 786.432 einzelne Werte enthält.
Stable Diffusion löst dieses Problem durch den Latent Space: Ein vortrainierter Variational Autoencoder (VAE) komprimiert das Bild zunächst in eine deutlich kleinere Repräsentation: Aus 512×512×3 Pixelwerten werden 64×64×4 latente Werte (Faktor 8 pro Seitenlänge). Das sind rund 48-mal weniger Werte, und der eigentliche Diffusionsprozess läuft in diesem kompakten latenten Raum. Deshalb genügen Consumer-Grafikkarten.
Der Diffusionsprozess in zwei Phasen
Forward Process (Training): Einem echten Bild wird schrittweise Gaußsches Rauschen hinzugefügt, bis nur noch reines Rauschen übrig bleibt. Das Modell lernt dabei, diesen Prozess zu invertieren.
Reverse Process (Inferenz): Aus reinem Rauschen entfernt das Modell schrittweise Rauschen, geleitet durch den Textprompt. Nach typischerweise 20-50 Schritten entsteht ein kohärentes Bild.
Text-Konditionierung via CLIP
Den Textprompt verarbeitet ein CLIP-Encoder (Contrastive Language-Image Pre-Training, OpenAI). CLIP wurde auf rund 400 Millionen Bild-Text-Paaren trainiert und kann semantische Beziehungen zwischen Sprache und visuellen Konzepten abbilden. Die resultierenden Text-Embeddings dienen als Konditionierungssignal für das U-Net, das den Rauschentfernungsprozess steuert.
Das U-Net als Herzstück
Das U-Net ist eine spezielle neuronale Netzwerkarchitektur mit Encoder-Decoder-Struktur und Skip-Connections. In Stable Diffusion ist es mit Cross-Attention-Schichten erweitert, die Text-Embeddings in jeden Denoising-Schritt einbeziehen. Das ermöglicht die präzise Steuerung durch Sprache.
Modellversionen und Auflösung
| Modellversion | Denoiser | Native Auflösung |
|---|---|---|
| SD 1.4 / 1.5 | U-Net, 860 Mio. Parameter | 512×512 px |
| SD 2.0 / 2.1 | U-Net, 865 Mio. Parameter | 512 bzw. 768 px |
| SDXL 1.0 | U-Net, 2,6 Mrd. Parameter | rund 1024×1024 px |
| SD 3.5 Medium / Large | Transformer, 2,5 bzw. 8,1 Mrd. Parameter | 1024×1024 px |
Der Speicherbedarf steigt mit der Modellgröße; fp16-Präzision, Quantisierung und Speicher-Sparoptionen der Oberflächen senken ihn deutlich. Konkrete Empfehlungen je Modell stehen im Eintrag Stable Diffusion lokal installieren.
Schritt-für-Schritt / Einrichtung
Lokale Installation (AUTOMATIC1111 als Beispiel)
Hinweis: Die letzte Version von AUTOMATIC1111 (1.10.1) erschien im Februar 2025; für Neuinstallationen empfehlen sich Forge oder Comfy Desktop (Stand: November 2026). Die Schritte zeigen das Grundprinzip.
- Python 3.10.6 installieren (laut Projektseite unterstützen neuere Python-Versionen die benötigte PyTorch-Version nicht)
- Git installieren
- Repository klonen:
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui - Modell-Checkpoint herunterladen (z. B. SD 1.5 von HuggingFace oder Civitai)
- Checkpoint in den Ordner
models/Stable-diffusion/legen webui.bat(Windows) oderwebui.sh(Linux/Mac) starten- Browser öffnen:
http://127.0.0.1:7860
Erste Bildgenerierung
`` Prompt: a photorealistic portrait of a young woman, golden hour lighting, bokeh background, Canon 85mm, professional photography Negative: blurry, deformed, ugly, low quality, watermark Steps: 25 CFG Scale: 7 Sampler: DPM++ 2M Karras Auflösung: 512×768 ``
Beispiele (5 konkrete Anwendungsfälle)
- Konzeptvisualisierung für Medienprojekte: Redaktionen generieren Titelbilder-Mockups für Artikel ohne Stock-Foto-Lizenz. SD erzeugt innerhalb von Sekunden passende Illustrationen.
- Storyboard-Erstellung: Filmproduktionen nutzen SD, um Storyboards zu skizzieren. Mit IP-Adapter kann ein Charakter konsistent über mehrere Szenen hinweg visualisiert werden.
- Produktvisualisierung: E-Commerce-Unternehmen platzieren Produkte in verschiedenen Szenarien, Strandszene, Büroumgebung, festliches Setting, ohne aufwändige Fotoshootings.
- Training eigener Modelle: Illustratoren trainieren LoRA-Modelle auf ihrem persönlichen Stil, um konsistente Illustrationen im eigenen Zeichenstil zu generieren.
- Datensatz-Augmentierung: ML-Forscher erweitern kleine Bilddatensätze durch synthetisch generierte Variationen für das Training von Klassifikationsmodellen.
In der Praxis
Die wichtigsten Parameter für die tägliche Arbeit:
- Steps (Schritte): 20-30 reichen für die meisten Anwendungen. Mehr Schritte bedeuten nicht automatisch bessere Qualität, sondern nur längere Generierungszeit.
- CFG Scale: Werte zwischen 6 und 8 liefern ausgewogene Ergebnisse. Zu hohe Werte (>12) führen zu übersättigten, artifiziellen Bildern.
- Seed: Ein fester Seed (der Wert -1 steht für „zufällig“) reproduziert identische Ergebnisse bei gleichen Parametern, wichtig für Iterationen.
- Sampler: DPM++ 2M Karras gilt als Standard für qualitative Ergebnisse in wenigen Schritten.
Ressourcenplanung: Eine NVIDIA-GPU mit mindestens 6 GB VRAM ist empfehlenswert. AMD-GPUs funktionieren über ROCm (Linux) oder DirectML (Windows), mit teils eingeschränkter Performance. Apple Silicon nutzt das MPS-Backend (Metal), ist aber deutlich langsamer als vergleichbare NVIDIA-Karten.
Vergleich & Abgrenzung
| Merkmal | Stable Diffusion | Midjourney | GPT Image (OpenAI) |
|---|---|---|---|
| Kosten | Kostenlos (lokal) | Ab 10 USD/Monat (Basic, Stand: November 2026) | Im ChatGPT-Abo bzw. pro API-Token |
| Datenkontrolle | Vollständig lokal | Cloudbasiert | Cloudbasiert |
| Anpassbarkeit | Hoch (LoRA, Fine-Tuning) | Gering | Mittel |
| Bildqualität (ohne Anpassung) | Mittel bis hoch | Sehr hoch | Hoch |
| Lernkurve | Steil | Flach | Flach |
| NSFW-Filter | Konfigurierbar | Strikt | Strikt |
SD eignet sich für Nutzer, die maximale Kontrolle, Anpassbarkeit und Datenschutz benötigen. Cloud-Dienste bieten sofort nutzbare, hochqualitative Ergebnisse ohne technischen Aufwand.
Häufige Fragen (FAQ)
Welche GPU brauche ich mindestens für Stable Diffusion? Eine NVIDIA-Grafikkarte ist der einfachste Weg. SD 1.5 läuft schon mit wenig Grafikspeicher, SDXL und vor allem SD 3.5 Large oder Flux brauchen deutlich mehr; Speicher-Sparoptionen und quantisierte Modelle senken die Anforderungen. AMD-Karten und Apple Silicon funktionieren mit Zusatzaufwand bzw. langsamer.
Ist Stable Diffusion legal zu nutzen? Ja. SD 1.x steht unter der CreativeML OpenRAIL-M-Lizenz, SDXL unter OpenRAIL++-M: Kommerzielle Nutzung ist erlaubt, bestimmte Anwendungen (etwa Desinformation oder Täuschung über reale Personen) sind verboten. Neuere Modelle wie SD 3.5 stehen unter der Stability AI Community License mit Umsatzgrenze von 1 Million US-Dollar. Urheberrechtsfragen zu den Trainingsdaten sind noch nicht abschließend geklärt.
Warum arbeitet Stable Diffusion im latenten Raum? Aus Effizienzgründen. Der VAE verkleinert ein 512×512-Bild auf 64×64×4 latente Werte, rund 48-mal weniger Daten. Erst dadurch wurde hochwertige Bildsynthese auf normaler Hardware praktikabel; das ist die zentrale Idee von Rombach et al. (2022).
Verwandte Einträge
- AUTOMATIC1111 / WebUI, Die meistgenutzte grafische Oberfläche für Stable Diffusion
- ComfyUI, Node-basierte Alternative mit mehr Kontrolle über den Workflow
- Sampler & Scheduler, Welcher Sampler für welchen Anwendungsfall?
Weiterführend
- Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR 2022.
- Radford, A. et al. (2021). Learning Transferable Visual Models From Natural Language Supervision (CLIP).
- Hugging Face Diffusers Library:
- CompVis: Stable Diffusion (Code und Modellkarte).
