AnimateDiff ist ein Verfahren für Stable Diffusion, das durch zusätzliche Motion Module zeitliche Konsistenz zwischen generierten Bildframes herstellt und so hochwertige KI-Animationen aus bestehenden SD-Modellen erzeugt.
Rubrik: GenAI & Content Creation · Unterrubrik: Stable Diffusion · Niveau: Fortgeschritten
Was ist AnimateDiff?
AnimateDiff wurde von Guo et al. (2023) in dem Paper „AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning" vorgestellt. Das zentrale Problem, das AnimateDiff löst: Generiert man mehrere Frames mit identischem Prompt, entstehen konsistente Szenarien, aber inkonsistente Frames, jeder Frame ist ein unabhängiges Bild ohne zeitliche Verbindung.
AnimateDiff löst das durch ein Motion Module: ein zusätzliches neuronales Netzwerk mit zeitlichen Attention-Schichten, das in das U-Net von Stable Diffusion eingefügt wird und Bewegungsmuster zwischen Frames erlernt. Das Motion Module wird auf einem Video-Datensatz trainiert; das Basismodell bleibt dabei unverändert. So kann jedes kompatible SD-Modell (LoRAs, Fine-Tunes) für Videoanimation genutzt werden.
Erklärung
Technischer Aufbau
AnimateDiff modifiziert den Generierungsprozess von Single-Image zu Multi-Frame:
- Batch-Generierung im latenten Raum: Statt ein einzelnes Latent werden N Latents (Frames) gleichzeitig generiert
- Temporal Attention: Das Motion Module fügt Cross-Frame-Attention-Schichten ein, jeder Frame kann auf seine Nachbarn „achten"
- Kohärentes Denoising: Der Denoising-Prozess berücksichtigt zeitliche Abhängigkeiten; Objekte bleiben von Frame zu Frame konsistent
Motion Module Varianten
mm_sd_v15_v2.ckpt: Motion Module der zweiten Version für SD 1.5, dazu passende Motion LoRAs für Kamerabewegungen (Zoom, Pan, Roll).
v3_sd15_mm.ckpt (Dezember 2023): Aktuellste offizielle Version für SD 1.5, ergänzt um einen Domain Adapter (v3_sd15_adapter.ckpt), der Artefakte wie Wasserzeichen aus den Trainingsvideos abmildert.
mm_sdxl_v10_beta.ckpt (November 2023): Beta-Motion-Module für SDXL; laut Projektseite rund 13 GB VRAM bei 1024×1024 Pixeln und 16 Frames.
SparseCtrl: Zusatz-Encoder (RGB-Bild oder Scribble), der die Animation über wenige, spärlich gesetzte Bedingungsbilder steuert, etwa einzelne Keyframes oder Skizzen (Guo et al., 2023).
AnimateLCM: Community-Variante auf Basis von Latent Consistency Models, für Animationen mit wenigen Steps.
AnimateDiff-Lightning (ByteDance, 2024): Aus AnimateDiff SD 1.5 v2 destillierte Module für 1, 2, 4 oder 8 Steps.
- 2023Paper von Guo et al. mit Motion Modules für SD 1.5
- November 2023Beta-Motion-Module für SDXL
- Dezember 2023v3 mit Domain Adapter für SD 1.5
- 2024AnimateDiff-Lightning von ByteDance
- ab Mitte 2024Originalrepository ohne weitere Updates
Prompt Travel
Prompt Travel ist eine AnimateDiff-Technik für Inhaltswandel über Frames:
`` Frame 0: "lush green summer forest, sunlight" Frame 16: "autumn forest, orange leaves, warm light" Frame 32: "winter forest, snow, blue hour" ``
Die Frames interpolieren zwischen den Prompts, ein Sommer-zu-Winter-Übergang über 32 Frames. Diese Technik erzeugt filmische Szenen-Transitionen ohne Schnitt.
Schritt-für-Schritt / Einrichtung
Installation in AUTOMATIC1111
```bash
```
Grundparameter für AnimateDiff (SD 1.5)
``` Motion Module: mmsdv15_v2.ckpt Frames: 16 (Standard; mehr Frames = mehr VRAM und Zeit) FPS: 8 (bei 16 Frames = 2 Sekunden Video) Loop: einmalig oder nahtlos (für GIF-Loops) Format: GIF oder MP4
Sampler: z. B. Euler oder DPM++ 2M Karras Steps: 20-25 CFG: 7 Auflösung: 512×512 (SD 1.5) oder 768×512 (Widescreen) ```
ComfyUI AnimateDiff-Workflow
`` Load Checkpoint → Apply AnimateDiff Model → Load AnimateDiff Model → KSampler (Video) → VAE Decode (Video) → Save Video / GIF ``
Beispiele (5 konkrete Anwendungsfälle)
- Social-Media-Loops für Marken: Animierte Logos, Produkte oder Charaktere als nahtlose GIF-Loops für Instagram und TikTok. Ein einfacher Effekt (Partikel, Licht-Pulsieren, Kamera-Parallax) verleiht statischen Bildern Leben.
- Trailer-Animatic für Filmproduktionen: Vor dem Dreh visualisieren Regisseure Storyboard-Shots als animierte Sequenzen. AnimateDiff-Generierungen mit ControlNet-OpenPose-Konditionierung erzeugen grobe Bewegungsvorschauen.
- Ambient-Loops für Events: Visuelle Hintergründe für Konferenzen, Messen oder Konzerte. Abstrakte, nahtlose Animationen laufen als Umgebungs-Loop auf großen Displays.
- Produktanimationen für E-Commerce: Produkte rotieren, drehen oder werden in einer Szenerie bewegt, ohne 3D-Modelling-Aufwand. Besonders für Hero-Videos auf Landingpages.
- KI-Musikvideo-Produktion: Unabhängige Musiker nutzen AnimateDiff für günstige Musikvideo-Produktion. Prompt-Travel erzeugt thematisch passende visuelle Reisen durch verschiedene Szenarien im Rhythmus der Musik.
In der Praxis
VRAM-Anforderungen
Der Speicherbedarf steigt mit Frame-Zahl und Auflösung, weil alle Frames eines Fensters gleichzeitig im latenten Raum verarbeitet werden. Für die SDXL-Beta nennt die Projektseite rund 13 GB VRAM. Für begrenzte VRAM-Kapazität: Frames auf 8-12 reduzieren, Auflösung auf 512×512 begrenzen, später per Upscaler hochskalieren.
Qualitäts-Tipps
- Kamerabewegung: Motion Module erzeugt oft unbeabsichtigte Kamerabewegungen.
stable motion, static cameraim Prompt reduziert das; spezialisierte Motion LoRAs ermöglichen gezielte Kamerabewegungen (Pan, Zoom, Tilt). - ControlNet + AnimateDiff: OpenPose oder Canny ControlNet kann für Konsistenz über Frames hinweg genutzt werden, besonders bei Charakteranimationen.
- AnimateDiff-Lightning für Iteration: Für schnelle Prototypen das 2-, 4- oder 8-Step-Modell von AnimateDiff-Lightning nutzen, finale Qualität mit dem Standard-Module erstellen.
- Upscaling animierter Videos: Frame-für-Frame-Upscaling mit ESRGAN oder Hires-Fix auf jeden Frame anwenden (über ComfyUI-Workflow automatisierbar).
Vergleich & Abgrenzung
| Tool | Ansatz | Kontrolle | Kosten |
|---|---|---|---|
| AnimateDiff | SD-Checkpoint + Motion Module | Hoch (LoRAs, ControlNet, Prompt Travel) | Kostenlos (lokal) |
| Offene Videomodelle (z. B. Wan, LTX-Video, HunyuanVideo) | Eigenständige Video-Diffusionsmodelle | Mittel bis hoch | Kostenlos (lokal, hoher VRAM-Bedarf) |
| Proprietäre Videodienste (z. B. Runway, Kling) | Eigene Videomodelle in der Cloud | Mittel | Kostenpflichtig |
| Deforum | SD + Keyframe-Interpolation | Sehr hoch | Kostenlos (lokal) |
AnimateDiff bleibt interessant, weil es vorhandene SD-1.5- und SDXL-Checkpoints samt LoRAs weiterverwendet. Eigenständige Videomodelle, die ComfyUI inzwischen nativ unterstützt, erzeugen dagegen meist längere und bewegungsreichere Clips. Das Originalrepository von AnimateDiff wird seit Mitte 2024 nicht mehr aktualisiert, ComfyUI-AnimateDiff-Evolved wird weiter gepflegt (Stand November 2026).
Häufige Fragen (FAQ)
F: Warum flimmern meine AnimateDiff-Frames so stark? Flimmern (Flickering) entsteht durch fehlende zeitliche Konsistenz. Häufigste Ursachen: (1) Zu hohe Denoising-Stärke bei img2img-basierten Workflows; (2) Sampler-Wahl, Euler oder DDIM sind stabiler als ancestrale Sampler; (3) Zu viel CFG, auf 5-7 reduzieren; (4) AnimateDiff-spezifische Einstellungen: Context-Überlappung erhöhen (bei langen Sequenzen).
F: Wie lang kann eine AnimateDiff-Sequenz sein? Die Motion Modules sind auf Clips mit 16 Frames ausgelegt (bei 8 FPS also 2 Sekunden). Für längere Sequenzen werden Kontextfenster genutzt: 16-Frame-Fenster werden mit Überlappung nacheinander verarbeitet, wie es etwa ComfyUI-AnimateDiff-Evolved anbietet. Mit wachsender Länge nimmt die Konsistenz über die gesamte Sequenz ab.
F: Funktioniert AnimateDiff auch mit SDXL? Ja, mit dem Beta-Motion-Module mm_sdxl_v10_beta.ckpt (November 2023). SD-1.5-Module laufen nicht mit SDXL-Checkpoints. Laut Projektseite braucht die SDXL-Variante rund 13 GB VRAM und angepasste Parameter.
Verwandte Einträge
- ComfyUI Workflows, AnimateDiff-Evolved in ComfyUI-Workflows integrieren
- ControlNet, ControlNet für Charakter-Konsistenz in AnimateDiff
- Upscaling in Stable Diffusion, Animierte Videos frame-weise hochskalieren
Weiterführend
- Guo, Y. et al. (2023). AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning.
- Guo, Y. et al. (2023). SparseCtrl: Adding Sparse Controls to Text-to-Video Diffusion Models.
- AnimateDiff-Lightning (ByteDance):
- AnimateDiff GitHub:
- ComfyUI AnimateDiff Evolved:
- Hugging Face AnimateDiff Modelle:
