LoRA (Low-Rank Adaptation) ist eine parameter-effiziente Fine-Tuning-Methode, die es ermöglicht, Stable-Diffusion-Modelle auf eigene Stile, Charaktere oder Konzepte zu trainieren, ohne den vollständigen Checkpoint zu modifizieren.
Rubrik: GenAI & Content Creation · Unterrubrik: Stable Diffusion · Niveau: Fortgeschritten
Was ist LoRA Training?
LoRA wurde ursprünglich von Hu et al. (2021) für die Adaption großer Sprachmodelle entwickelt und schnell für Bildgenerierungsmodelle übernommen. Die zentrale Idee: Statt alle Milliarden von Modellgewichten anzupassen, werden nur kleine, niederrangige Matrizen trainiert, die die Differenz zum Originalmodell darstellen.
Das Ergebnis: Eine LoRA-Datei ist je nach Rang und Basismodell meist nur einige zehn bis wenige hundert Megabyte groß, während ein vollständiger SDXL-Checkpoint 6-8 GB belegt. LoRAs können auf beliebige Basismodelle angewendet, kombiniert und mit unterschiedlichen Gewichtungen gemischt werden, ohne den ursprünglichen Checkpoint zu verändern.
Erklärung
Technischer Hintergrund
In Transformer-Architekturen (wie dem U-Net von Stable Diffusion mit seinen Attention-Schichten) werden Gewichtsmatrizen W durch einen zusätzlichen Term ergänzt:
`` W_neu = W_original + ΔW ΔW = A × B (niedrigrangige Zerlegung) ``
Hierbei ist A eine Matrix der Dimension (d × r) und B eine Matrix (r × k), wobei r (der Rang) typischerweise 4-64 beträgt, viel kleiner als die Originaldimension d oder k (oft 1024 oder 2048). Nur A und B werden trainiert.
LoRA-Varianten
Standard LoRA: Trainiert Attention-Schichten (q, k, v, out). Basisversion, guter Kompromiss zwischen Dateigröße und Qualität.
LyCORIS / LoHa / LoKr: Sammlung erweiterter LoRA-Varianten mit anderen Zerlegungen und teils mehr modifizierten Schichten; je nach Aufgabe bessere Ergebnisse, teils größere Dateien.
DoRA: Weight-Decomposed Low-Rank Adaptation (Liu et al., ICML 2024), zerlegt Gewichte in Betrag und Richtung und passt die Richtung per LoRA an.
LoRA-Stärke beim Anwenden: Beim Laden einer LoRA kann die Stärke (Weight) 0-2 eingestellt werden. 0.8-1.0 ist typisch; zu hohe Werte verzerren die Bildqualität.
Datensatz-Anforderungen
Mindestanzahl Bilder:
- Objekt/Charakter: etwa 15-40 hochwertige Bilder
- Stil: etwa 30-100 Bilder
- Konzept: etwa 20-50 Bilder
Das sind verbreitete Praxiswerte aus der Community, keine festen Grenzen.
Bildanforderungen:
- Einheitliche, hochauflösende Bilder (min. 512×512, für SDXL min. 1024×1024)
- Verschiedene Perspektiven, Beleuchtungen, Posen (für Charaktere)
- Konsistenter Stil ohne gemischte Elemente (für Stil-LoRAs)
- Sauber zugeschnitten, kein störender Hintergrund (für Objekttraining)
Caption-Strategien:
- WD14-Tagger (automatisch): Generiert Schlagwort-Tags aus Bildern, verbreitet bei Anime- und Illustrationsstilen
- BLIP-Captioning: Erzeugt natürlichsprachige Beschreibungen
- Manuelles Captioning: Höchste Qualität, aber zeitaufwändig
- Trigger-Word: Ein eindeutiges Wort (z. B.
johndoe_person) kennzeichnet das LoRA-Konzept im Prompt
Schritt-für-Schritt / Einrichtung
Kohya SS installieren
``bash git clone https://github.com/bmaltais/kohya_ss cd kohya_ss ``
LoRA-Training-Parameter (SD 1.5)
```yaml Basismodell: sd-v1-5.safetensors Netzwerk-Typ: LoRA (oder LyCORIS/LoHa für bessere Qualität) Netzwerk-Rang (Dim): 32 Netzwerk-Alpha: 16 # Typisch: Alpha = Rank/2
Training-Auflösung: 512 Batch-Größe: 1 (bei 6 GB VRAM), 2 (bei 12 GB) Epochen: 10-20 Wiederholungen: 10 (pro Epoche werden Bilder 10x genutzt) Lernrate: 1e-4 (Netzwerk), 5e-5 (Text-Encoder) Optimizer: AdamW8bit oder Prodigy (adaptive LR) LR-Scheduler: Cosine with restarts Mixed Precision: fp16 ```
DreamBooth vs. LoRA
DreamBooth (Ruiz et al., 2022): Trainiert den Checkpoint auf wenige Referenzbilder. Sehr gute Qualität, aber ein vollständiger Checkpoint als Ergebnis (bei SDXL mehrere GB). Als volles Fine-Tuning heute seltener; DreamBooth-LoRA kombiniert beide Ansätze.
LoRA: Kleiner, portierbar, auf beliebige Basismodelle anwendbar. De-facto-Standard.
Beispiele (5 konkrete Anwendungsfälle)
- Markenstil-LoRA: Eine Werbeagentur trainiert ein LoRA auf die visuelle Sprache eines Klienten, spezifische Farbpalette, Bildkomposition, Fotografie-Ästhetik. Alle generierten Bilder entsprechen automatisch dem Brand-Guideline.
- Illustration-Stil-LoRA: Ein/e Illustrator/in digitalisiert den eigenen Handzeichnungsstil als LoRA. Kund/innen können damit Auftragsbilder eigenständig generieren, ohne den Stil kopieren zu können (durch Trigger-Word-Kontrolle).
- Produkt-LoRA: Ein E-Commerce-Anbieter trainiert ein LoRA auf sein Hauptprodukt (z. B. eine Schuhkollektion). Das Produkt lässt sich dann in beliebige Szenarien platzieren, ohne Photoshop-Compositing.
- Charakter-Konsistenz für Comics: Comicproduzenten trainieren LoRAs auf ihre Hauptcharaktere. So bleibt die Optik über alle Panels konsistent, auch wenn Pose und Hintergrund variieren.
- Qualitäts- und Detail-LoRAs: Fertige Community-LoRAs für Details oder Lichtstimmung werden mit schwachem Gewicht zugeschaltet, um die Bild-Grundqualität zu beeinflussen, ohne eigene Trainingsdaten zu nutzen.
In der Praxis
LoRA kombinieren
In AUTOMATIC1111 können mehrere LoRAs gleichzeitig aktiviert werden:
`` Prompt: a woman in a park, <lora:johndoe_style:0.7>, <lora:natural_light:0.4> ``
Wichtig: Zu viele LoRAs oder zu hohe Gewichtungen führen zu Bildkorruption. Als Faustregel: Summe aller LoRA-Gewichte sollte 1.0-1.5 nicht überschreiten.
Training auf SDXL
SDXL-LoRA-Training erfordert (Richtwerte):
- Deutlich mehr VRAM als SD 1.5 (häufig 12-16 GB oder mehr, mit Optimierungen auch weniger)
- Trainingsauflösung: 1024×1024
- Längere Trainingszeit
Flux-LoRA-Training: Inzwischen verbreitet; kohya_ss unterstützt laut README Flux.1 (sowie SD3 und weitere Modelle), daneben werden ai-toolkit und SimpleTuner genutzt.
Vergleich & Abgrenzung
| Methode | Dateigröße | VRAM-Training | Ergebnis |
|---|---|---|---|
| LoRA | einige 10 bis einige 100 MB | 6 GB | Zusatzdatei zum Basismodell, kombinierbar |
| LyCORIS/LoHa | einige 10 bis einige 100 MB | 8 GB | Zusatzdatei mit anderer Zerlegung der Gewichte |
| DreamBooth | 6-8 GB | 12 GB | vollständiger Checkpoint |
| Textual Inversion | 50-100 KB | 6 GB | neues Embedding, Modell bleibt unverändert |
| Hypernetwork | 50-300 MB | 6 GB | kleines Zusatznetz zum Basismodell |
Häufige Fragen (FAQ)
F: Wie viele Bilder brauche ich für ein gutes LoRA? Für Charakter-LoRAs reichen häufig etwa 15-40 hochwertige, abwechslungsreiche Bilder. Sehr wenige Bilder erhöhen das Risiko von Overfitting (das Modell kann dann nur die Trainingsbilder reproduzieren). Für Stil-LoRAs sind eher 30-100 Bilder üblich. Bildqualität schlägt Quantität: 20 perfekte Bilder sind besser als 100 schlechte.
F: Warum verliert mein LoRA die allgemeinen Fähigkeiten des Basismodells? Das ist Overfitting. Symptome: Das Modell kann nur noch das trainierte Konzept zeichnen, andere Inhalte werden verzerrt. Gegenmaßnahmen: weniger Epochen, niedrigere Lernrate, regularization images (vom Basismodell erzeugte Bilder der Klasse zur Erhaltung allgemeiner Fähigkeiten) hinzufügen.
F: Funktioniert ein SD-1.5-LoRA auch mit SDXL oder Flux? Nein. Ein LoRA passt nur zu der Modellarchitektur, auf der es trainiert wurde. Für SDXL, Flux.1 oder andere Modellfamilien muss es neu trainiert werden; innerhalb einer Familie funktioniert es meist mit vielen Fine-Tunes.
Verwandte Einträge
- IP-Adapter, Stilübertragung ohne Training als Alternative zu LoRA
- Modelle & Checkpoints, Fertige LoRAs von Civitai und Hugging Face laden
- ControlNet, Strukturkontrolle kombiniert mit LoRA-Stilen
Weiterführend
- Hu, E. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models.
- Liu, S.-Y. et al. (2024). DoRA: Weight-Decomposed Low-Rank Adaptation. ICML 2024.
- Ruiz, N. et al. (2022). DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation. CVPR 2023.
- Kohya SS GitHub:
- Civitai LoRA-Bibliothek:
