A/B-Testing in E-Mails ist eine Methode, bei der zwei Varianten einer E-Mail (Version A und Version B) an verschiedene Teile einer Liste versendet werden, um anhand von Metriken zu ermitteln, welche Variante besser performt.
Rubrik: Online-Marketing & Content · Unterrubrik: E-Mail-Marketing · Niveau: Einsteiger Synonyme / Auch bekannt als: Split-Test, E-Mail-Experiment, Champion-Challenger-Test
Was ist A/B-Testing in E-Mails?
Annahmen über das Verhalten von E-Mail-Abonnenten können falsch liegen – selbst erfahrene Marketer können nicht sicher vorhersagen, ob eine kurze oder lange Betreffzeile, ein roter oder grüner Button, oder ein informeller oder formeller Ton besser ankommt. A/B-Tests ersetzen Bauchgefühl durch Daten: Zwei Varianten werden gleichzeitig getestet, die bessere gewinnt und wird an den Rest der Liste geschickt.
Erklärung
Grundprinzip des A/B-Tests
Der Ablauf eines A/B-Tests in E-Mails:
- Hypothese formulieren: Was wird getestet und warum? Z. B.: „Eine fragende Betreffzeile erzielt eine höhere Öffnungsrate als eine aussagende."
- Eine Variable isolieren: Nur eine einzige Veränderung zwischen A und B – sonst ist nicht klar, was den Unterschied verursacht hat.
- Testgruppe definieren: Zwei gleich große, zufällig ausgewählte Teilgruppen der Liste (z. B. je 20 %).
- Versand: Beide Varianten werden gleichzeitig versendet.
- Warten: Genug Zeit für statistisch aussagekräftige Ergebnisse (mindestens 4–24 Stunden, abhängig von Öffnungszeitraum).
- Gewinner bestimmen: Die Variante mit dem besseren Ergebnis gewinnt und wird an den Rest der Liste (60 %) versendet.
- Lernen dokumentieren: Was funktioniert bei dieser Zielgruppe und warum?
Was kann getestet werden?
Öffnungsraten-Tests (Posteingang):
- Subject Line (Länge, Formulierung, Emojis, Frage vs. Aussage)
- Preheader Text (Ergänzung vs. andere Perspektive)
- Absendername (Unternehmensname vs. persönlicher Name)
- Versandzeitpunkt und -tag
Klickraten-Tests (in der E-Mail):
- CTA-Button-Text (Farbe, Formulierung, Größe)
- Platzierung des CTA (oben vs. unten, eine vs. mehrere)
- Bildauswahl (Produkt vs. Person, mit vs. ohne Bild)
- E-Mail-Länge (kurz vs. ausführlich)
- Ton (formell vs. informell, ich-Perspektive vs. du-Ansprache)
- Personalisierung (mit vs. ohne Vornamen)
Conversion-Tests (nach dem Klick):
- Landingpage-Variante (erfordert separaten A/B-Test auf der Website)
Statistische Signifikanz
Ein häufiger Fehler: zu früh einen Gewinner ausrufen. Wenn Variante A nach 2 Stunden 35 % und Variante B 33 % Öffnungsrate hat, ist das Ergebnis möglicherweise noch nicht statistisch signifikant – der Unterschied könnte zufällig sein.
Faustregeln für E-Mail-A/B-Tests:
- Mindestens 100 Öffnungen pro Variante für erste Indikationen
- Mindestens 500–1.000 Empfänger pro Variante für verlässliche Aussagen
- Confidence Level 95 %: Der Unterschied ist mit 95 %iger Wahrscheinlichkeit kein Zufall
- Tests über mindestens 4 Stunden, besser 24 Stunden laufen lassen
Mailchimp, Klaviyo und ActiveCampaign berechnen die statistische Signifikanz automatisch.
Multivariate Tests
Während A/B-Tests zwei Varianten vergleichen, testen multivariate Tests mehrere Variablen gleichzeitig – zum Beispiel zwei Subject Lines kombiniert mit zwei verschiedenen CTA-Farben (ergibt vier Kombinationen: A1/B1, A1/B2, A2/B1, A2/B2). Dies erfordert größere Listen und wird vor allem von fortgeschrittenen Teams genutzt.
A/B-Testing als kontinuierlicher Prozess
A/B-Tests sind kein einmaliges Ereignis, sondern ein kontinuierlicher Lernprozess. Best Practice: Pro Monat mindestens einen A/B-Test durchführen, die Erkenntnisse dokumentieren, und aus der Gesamtheit der Tests ein Bild des eigenen Publikums aufbauen.
Wichtig: Was für eine Liste funktioniert, funktioniert möglicherweise nicht für eine andere. Ergebnisse aus externen Studien können als Ausgangshypothesen dienen, aber nie als endgültige Wahrheit für die eigene Liste.
Beispiele
- Subject Line Test: Variante A: „5 Tipps für bessere E-Mails" (8 % höhere Öffnungsrate). Variante B: „Machst du diese E-Mail-Fehler?" → Ergebnis: Variante B gewinnt mit 12 % mehr Öffnungen. Erkenntnis: Fragende Formulierungen wecken mehr Neugier bei dieser Zielgruppe.
- CTA-Button-Farbe: Roter Button vs. orangefarbener Button → Orangener Button hat 18 % mehr Klicks. Erkenntnis: Warme Farben performen in dieser Branche besser.
- Absendername: „Lazi-Akademie" vs. „Dominik von Lazi-Akademie" → Persönlicher Absendername erhöht Öffnungsrate um 11 %.
- E-Mail-Länge: Kurze E-Mail (200 Wörter) vs. lange E-Mail (600 Wörter) → Kurze E-Mail hat 25 % höhere Klickrate; lange E-Mail hat höhere Verweildauer, aber weniger Klicks.
- Versandzeitpunkt: Dienstag 10 Uhr vs. Donnerstag 18 Uhr → Dienstag 10 Uhr erzielt 15 % mehr Öffnungen für B2B-Zielgruppe.
In der Praxis
- Mailchimp: Integrierter A/B-Test für Betreff, Absendernamen, Inhalte und Versandzeitpunkt; automatischer Gewinner-Versand; max. 3 Varianten
- Klaviyo: A/B-Tests für Subject Line, E-Mail-Inhalt und Sendezeitpunkt in Flows und Kampagnen; statistische Auswertung inklusive
- ActiveCampaign: Split-Testing in Automations und Kampagnen; erweiterte Berichte
- Brevo: A/B-Test für Betreffzeilen; Gewinner-Versand nach definiierter Zeit automatisch
Für die Dokumentation empfiehlt sich ein einfaches Test-Log: Was wurde getestet, Hypothese, Ergebnis, Schlussfolgerung, Datum.
Vergleich & Abgrenzung
| A/B-Test | Multivariater Test | Bauchgefühl | |
|---|---|---|---|
| Testbare Variablen | 1 | Mehrere gleichzeitig | Keine |
| Benötigte Listengröße | Mittel (500+) | Groß (5.000+) | Beliebig |
| Auswertungsaufwand | Gering | Hoch | Keiner |
| Erkenntnistiefe | Mittel | Hoch | Keine |
| Zuverlässigkeit | Gut | Sehr gut | Gering |
Häufige Fragen (FAQ)
Wie setze ich A/B-Tests in E-Mails konkret um? Wähle eine einzige Variable zum Testen – beginne mit der Subject Line, da sie den größten Einfluss auf die Öffnungsrate hat. Formuliere zwei Varianten, die sich in einem Punkt unterscheiden. Richte den A/B-Test in deinem E-Mail-Tool ein, weise jeweils 25–30 % der Liste je einer Variante zu und warte mindestens 4 Stunden, bevor du den Gewinner bestimmst. Dokumentiere das Ergebnis.
Was sind typische Fehler bei A/B-Tests in E-Mails? Der häufigste Fehler ist das Testen mehrerer Variablen gleichzeitig – dann weiß man nicht, was den Unterschied verursacht hat. Weitere Fehler: zu kleine Testgruppen (unter 100 Empfänger pro Variante), Tests zu früh abbrechen, und Erkenntnisse nicht dokumentieren oder nicht auf zukünftige Kampagnen anwenden.
Weiterführend
- Litmus: „The Email Marketer's Guide to A/B Testing" (Litmus, 2024) – litmus.com/blog
- Klaviyo: „A/B Testing in Email Marketing" (Klaviyo, 2023) – klaviyo.com/blog
- ConversionXL (CXL): „Statistical Significance in A/B Testing" (CXL, 2023) – cxl.com/blog
