Mit freundlicher Unterstützung von
← Zurück zu GenAI & Content Creation
AnimateDiff ist ein Verfahren für Stable Diffusion, das durch zusätzliche Motion Module zeitliche Konsistenz zwischen generierten Bildframes herstellt und so hochwertige KI-Animationen aus bestehenden SD-Modellen erzeugt.

Rubrik: GenAI & Content Creation · Unterrubrik: Stable Diffusion · Niveau: Fortgeschritten


Was ist AnimateDiff?

AnimateDiff wurde von Guo et al. (2023) in dem Paper „AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning" vorgestellt. Das zentrale Problem, das AnimateDiff löst: Generiert man mehrere Frames mit identischem Prompt, entstehen konsistente Szenarien, aber inkonsistente Frames, jeder Frame ist ein unabhängiges Bild ohne zeitliche Verbindung.

AnimateDiff löst das durch ein Motion Module: ein zusätzliches neuronales Netzwerk mit zeitlichen Attention-Schichten, das in das U-Net von Stable Diffusion eingefügt wird und Bewegungsmuster zwischen Frames erlernt. Das Motion Module wird auf einem Video-Datensatz trainiert; das Basismodell bleibt dabei unverändert. So kann jedes kompatible SD-Modell (LoRAs, Fine-Tunes) für Videoanimation genutzt werden.


Erklärung

Technischer Aufbau

AnimateDiff modifiziert den Generierungsprozess von Single-Image zu Multi-Frame:

  1. Batch-Generierung im latenten Raum: Statt ein einzelnes Latent werden N Latents (Frames) gleichzeitig generiert
  2. Temporal Attention: Das Motion Module fügt Cross-Frame-Attention-Schichten ein, jeder Frame kann auf seine Nachbarn „achten"
  3. Kohärentes Denoising: Der Denoising-Prozess berücksichtigt zeitliche Abhängigkeiten; Objekte bleiben von Frame zu Frame konsistent

Motion Module Varianten

mm_sd_v15_v2.ckpt: Motion Module der zweiten Version für SD 1.5, dazu passende Motion LoRAs für Kamerabewegungen (Zoom, Pan, Roll).

v3_sd15_mm.ckpt (Dezember 2023): Aktuellste offizielle Version für SD 1.5, ergänzt um einen Domain Adapter (v3_sd15_adapter.ckpt), der Artefakte wie Wasserzeichen aus den Trainingsvideos abmildert.

mm_sdxl_v10_beta.ckpt (November 2023): Beta-Motion-Module für SDXL; laut Projektseite rund 13 GB VRAM bei 1024×1024 Pixeln und 16 Frames.

SparseCtrl: Zusatz-Encoder (RGB-Bild oder Scribble), der die Animation über wenige, spärlich gesetzte Bedingungsbilder steuert, etwa einzelne Keyframes oder Skizzen (Guo et al., 2023).

AnimateLCM: Community-Variante auf Basis von Latent Consistency Models, für Animationen mit wenigen Steps.

AnimateDiff-Lightning (ByteDance, 2024): Aus AnimateDiff SD 1.5 v2 destillierte Module für 1, 2, 4 oder 8 Steps.

Entwicklung der AnimateDiff-Module
  1. 2023Paper von Guo et al. mit Motion Modules für SD 1.5
  2. November 2023Beta-Motion-Module für SDXL
  3. Dezember 2023v3 mit Domain Adapter für SD 1.5
  4. 2024AnimateDiff-Lightning von ByteDance
  5. ab Mitte 2024Originalrepository ohne weitere Updates
Quelle: Eigene Darstellung nach Guo et al. (2023), der AnimateDiff-Projektseite auf GitHub und diesem Eintrag, Stand November 2026

Prompt Travel

Prompt Travel ist eine AnimateDiff-Technik für Inhaltswandel über Frames:

`` Frame 0: "lush green summer forest, sunlight" Frame 16: "autumn forest, orange leaves, warm light" Frame 32: "winter forest, snow, blue hour" ``

Die Frames interpolieren zwischen den Prompts, ein Sommer-zu-Winter-Übergang über 32 Frames. Diese Technik erzeugt filmische Szenen-Transitionen ohne Schnitt.


Schritt-für-Schritt / Einrichtung

Installation in AUTOMATIC1111

```bash

```

Grundparameter für AnimateDiff (SD 1.5)

``` Motion Module: mmsdv15_v2.ckpt Frames: 16 (Standard; mehr Frames = mehr VRAM und Zeit) FPS: 8 (bei 16 Frames = 2 Sekunden Video) Loop: einmalig oder nahtlos (für GIF-Loops) Format: GIF oder MP4

Sampler: z. B. Euler oder DPM++ 2M Karras Steps: 20-25 CFG: 7 Auflösung: 512×512 (SD 1.5) oder 768×512 (Widescreen) ```

Standard-Clip mit einem Motion Module für SD 1.5
0,00Frames
0,00Bilder pro Sekunde
0,00Sekunden Video
Quelle: AnimateDiff, Projektseite github.com/guoyww/AnimateDiff, und Extension sd-webui-animatediff, Stand November 2026

ComfyUI AnimateDiff-Workflow

`` Load Checkpoint → Apply AnimateDiff Model → Load AnimateDiff Model → KSampler (Video) → VAE Decode (Video) → Save Video / GIF ``


Beispiele (5 konkrete Anwendungsfälle)

  1. Social-Media-Loops für Marken: Animierte Logos, Produkte oder Charaktere als nahtlose GIF-Loops für Instagram und TikTok. Ein einfacher Effekt (Partikel, Licht-Pulsieren, Kamera-Parallax) verleiht statischen Bildern Leben.
  2. Trailer-Animatic für Filmproduktionen: Vor dem Dreh visualisieren Regisseure Storyboard-Shots als animierte Sequenzen. AnimateDiff-Generierungen mit ControlNet-OpenPose-Konditionierung erzeugen grobe Bewegungsvorschauen.
  3. Ambient-Loops für Events: Visuelle Hintergründe für Konferenzen, Messen oder Konzerte. Abstrakte, nahtlose Animationen laufen als Umgebungs-Loop auf großen Displays.
  4. Produktanimationen für E-Commerce: Produkte rotieren, drehen oder werden in einer Szenerie bewegt, ohne 3D-Modelling-Aufwand. Besonders für Hero-Videos auf Landingpages.
  5. KI-Musikvideo-Produktion: Unabhängige Musiker nutzen AnimateDiff für günstige Musikvideo-Produktion. Prompt-Travel erzeugt thematisch passende visuelle Reisen durch verschiedene Szenarien im Rhythmus der Musik.

In der Praxis

VRAM-Anforderungen

Der Speicherbedarf steigt mit Frame-Zahl und Auflösung, weil alle Frames eines Fensters gleichzeitig im latenten Raum verarbeitet werden. Für die SDXL-Beta nennt die Projektseite rund 13 GB VRAM. Für begrenzte VRAM-Kapazität: Frames auf 8-12 reduzieren, Auflösung auf 512×512 begrenzen, später per Upscaler hochskalieren.

Qualitäts-Tipps

  • Kamerabewegung: Motion Module erzeugt oft unbeabsichtigte Kamerabewegungen. stable motion, static camera im Prompt reduziert das; spezialisierte Motion LoRAs ermöglichen gezielte Kamerabewegungen (Pan, Zoom, Tilt).
  • ControlNet + AnimateDiff: OpenPose oder Canny ControlNet kann für Konsistenz über Frames hinweg genutzt werden, besonders bei Charakteranimationen.
  • AnimateDiff-Lightning für Iteration: Für schnelle Prototypen das 2-, 4- oder 8-Step-Modell von AnimateDiff-Lightning nutzen, finale Qualität mit dem Standard-Module erstellen.
  • Upscaling animierter Videos: Frame-für-Frame-Upscaling mit ESRGAN oder Hires-Fix auf jeden Frame anwenden (über ComfyUI-Workflow automatisierbar).

Vergleich & Abgrenzung

ToolAnsatzKontrolleKosten
AnimateDiffSD-Checkpoint + Motion ModuleHoch (LoRAs, ControlNet, Prompt Travel)Kostenlos (lokal)
Offene Videomodelle (z. B. Wan, LTX-Video, HunyuanVideo)Eigenständige Video-DiffusionsmodelleMittel bis hochKostenlos (lokal, hoher VRAM-Bedarf)
Proprietäre Videodienste (z. B. Runway, Kling)Eigene Videomodelle in der CloudMittelKostenpflichtig
DeforumSD + Keyframe-InterpolationSehr hochKostenlos (lokal)

AnimateDiff bleibt interessant, weil es vorhandene SD-1.5- und SDXL-Checkpoints samt LoRAs weiterverwendet. Eigenständige Videomodelle, die ComfyUI inzwischen nativ unterstützt, erzeugen dagegen meist längere und bewegungsreichere Clips. Das Originalrepository von AnimateDiff wird seit Mitte 2024 nicht mehr aktualisiert, ComfyUI-AnimateDiff-Evolved wird weiter gepflegt (Stand November 2026).


Häufige Fragen (FAQ)

F: Warum flimmern meine AnimateDiff-Frames so stark? Flimmern (Flickering) entsteht durch fehlende zeitliche Konsistenz. Häufigste Ursachen: (1) Zu hohe Denoising-Stärke bei img2img-basierten Workflows; (2) Sampler-Wahl, Euler oder DDIM sind stabiler als ancestrale Sampler; (3) Zu viel CFG, auf 5-7 reduzieren; (4) AnimateDiff-spezifische Einstellungen: Context-Überlappung erhöhen (bei langen Sequenzen).

F: Wie lang kann eine AnimateDiff-Sequenz sein? Die Motion Modules sind auf Clips mit 16 Frames ausgelegt (bei 8 FPS also 2 Sekunden). Für längere Sequenzen werden Kontextfenster genutzt: 16-Frame-Fenster werden mit Überlappung nacheinander verarbeitet, wie es etwa ComfyUI-AnimateDiff-Evolved anbietet. Mit wachsender Länge nimmt die Konsistenz über die gesamte Sequenz ab.

F: Funktioniert AnimateDiff auch mit SDXL? Ja, mit dem Beta-Motion-Module mm_sdxl_v10_beta.ckpt (November 2023). SD-1.5-Module laufen nicht mit SDXL-Checkpoints. Laut Projektseite braucht die SDXL-Variante rund 13 GB VRAM und angepasste Parameter.


Verwandte Einträge


Weiterführend

  • Guo, Y. et al. (2023). AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning.
  • Guo, Y. et al. (2023). SparseCtrl: Adding Sparse Controls to Text-to-Video Diffusion Models.
  • AnimateDiff-Lightning (ByteDance):
  • AnimateDiff GitHub:
  • ComfyUI AnimateDiff Evolved:
  • Hugging Face AnimateDiff Modelle:
← Zurück zu GenAI & Content Creation
Infotag

Sei am Freitag dabei.
Bring Eltern oder Freunde mit.

Ein halber Nachmittag, der dir drei Jahre Klarheit bringen kann. Kostenlos, unverbindlich, ehrlich.

  • Rundgang durch Studios, Schnitträume und Tonstudio
  • Echte Absolventenfilme sehen
  • 1:1-Beratung zu Bewerbung & BAföG
  • Studierende direkt fragen
  • Kaffee, kein Sales-Pitch
  • Auch online möglich

Platz beim Infotag reservieren

Dauert 30 Sekunden. Bestätigung per E-Mail.
100 % kostenlos · keine Verpflichtung · jederzeit absagbar