A/B-Testing in E-Mails ist der kontrollierte Vergleich zweier Mail-Varianten an Teilgruppen einer Empfängerliste, um datenbasiert zu entscheiden, welche Version die bessere Performance liefert.
Rubrik: Online-Marketing & Content · Unterrubrik: E-Mail-Marketing · Niveau: Fortgeschritten Synonyme / Auch bekannt als: Split-Test, Mail-Test, A/B-Test im Newsletter
Was ist A/B-Testing in E-Mails?
A/B-Testing in E-Mails ist eine experimentelle Methode: Statt eine Mail blind an alle zu schicken, gehen zwei Varianten (A und B) an je eine zufällige Stichprobe — der Rest bekommt anschließend automatisch die Sieger-Variante. So lassen sich Hypothesen über Betreff, Absender, Inhalt, CTA, Layout oder Sendezeit objektiv prüfen.
Erklärung
A/B-Testing folgt einem klaren Ablauf: Hypothese formulieren, eine einzige Variable ändern, Stichprobe ziehen, Erfolgskennzahl festlegen, Test laufen lassen, statistisch auswerten, dokumentieren. Wer mehrere Variablen gleichzeitig ändert (Betreff und CTA), kann am Ende nicht zuordnen, was den Unterschied gemacht hat — das ist dann kein A/B-Test mehr, sondern Bauchgefühl mit Zahlen.
Typische Testvariablen im E-Mail-Marketing sind:
- Betreffzeile: Kurz vs. lang, Frage vs. Aussage, mit vs. ohne Emoji, Personalisierung vs. neutral
- Absendername: Personenname vs. Firmenname, mit vs. ohne Vorname
- Preheader: Vorhanden vs. leer, Teaser vs. Zusammenfassung
- CTA-Button: Farbe, Beschriftung („Jetzt kaufen" vs. „Mehr erfahren"), Position
- Layout: Bild oben vs. Text oben, ein- vs. mehrspaltig
- Sendezeit: Dienstag 10 Uhr vs. Donnerstag 16 Uhr
- Tonalität: Du vs. Sie, sachlich vs. emotional
Die wichtigste Erfolgskennzahl hängt vom Test ab: Betreff-Tests werden über Open Rate gemessen, CTA-Tests über CTR, Layout- und Inhalts-Tests am besten über Conversion Rate, weil sie die ganze User Journey abbilden.
Statistische Signifikanz ist Pflicht: Bei einer Liste mit 2.000 Empfängern und einem erwarteten Unterschied von 2 Prozentpunkten braucht es mehrere tausend Empfänger pro Variante — sonst ist der Sieger-Effekt nicht vom Zufall zu unterscheiden. Tools wie Optimizely's Sample Size Calculator oder der A/B-Test-Rechner von ABTestGuide helfen bei der Dimensionierung.
Beispiele
- Beispiel 1: Betreff A „Unser Sommer-Sale ist da" vs. B „30 % auf alles — nur bis Sonntag" — Variante B gewinnt mit 8 Prozentpunkten Open Rate.
- Beispiel 2: CTA „Jetzt kaufen" vs. „Mein Angebot ansehen" — die Ich-Form steigert die CTR um 18 Prozent.
- Beispiel 3: Absender „Lazi Akademie" vs. „Dominik (Lazi Akademie)" — Personenname öffnet 12 Prozent häufiger.
- Beispiel 4: Layout mit Hero-Bild oben vs. Headline-only oben — Headline-only konvertiert besser, weil Bilder bei vielen Empfängern blockiert werden.
- Beispiel 5: Sendezeit Dienstag 10 Uhr vs. Donnerstag 19 Uhr — Donnerstag-Abend führt zu höherer CTR bei B2C, Dienstag-Vormittag bei B2B.
- Beispiel 6: Plain-Text-Variante vs. HTML-Newsletter an dieselbe Liste — Plain-Text gewinnt überraschend bei einer hochengagierten B2B-Liste.
In der Praxis
Die meisten Mail-Marketing-Tools (Mailchimp, HubSpot, ActiveCampaign, Brevo, Klaviyo) haben A/B-Tests eingebaut: Variante A und B definieren, Stichprobengröße einstellen (meist 10–30 Prozent der Liste auf je A und B), Sieger-Kriterium festlegen, Sieger geht nach 2–24 Stunden automatisch an den Rest. Wichtig ist, eine Hypothese pro Test zu formulieren — etwa „Personalisierte Betreffzeilen erhöhen die Open Rate um mindestens 5 Prozent". Tests dokumentiert man in einem Test-Log mit Hypothese, Variante, Stichprobe, Ergebnis und Learning, damit Lerneffekte über Monate vergleichbar bleiben. Zu kleine Stichproben sind die häufigste Fehlerquelle: Wer mit 200 Empfängern testet, bekommt rauschende Ergebnisse, die in der Praxis nicht reproduzierbar sind.
Vergleich & Abgrenzung
| Konzept | Beschreibung |
|---|---|
| A/B-Test | Zwei Varianten, eine Variable, klare Hypothese |
| Multivariater Test | Mehrere Variablen gleichzeitig, braucht große Listen |
| Holdout-Gruppe | Empfänger, die gar keine Mail bekommen, als Baseline |
| Mehrarmiger Bandit | Algorithmus verteilt Traffic dynamisch zur besseren Variante |
A/B-Tests sind nicht dasselbe wie multivariate Tests — letztere testen mehrere Variablen gleichzeitig und brauchen ein Vielfaches der Empfänger.
Häufige Fragen (FAQ)
Wie viele Empfänger braucht ein valider A/B-Test? Faustregel: mindestens 1.000 pro Variante, besser 3.000 — je kleiner der erwartete Effekt, desto größer die nötige Stichprobe. Bei sehr kleinen Listen ist A/B-Testing oft nicht statistisch tragfähig; dann lieber qualitativ optimieren (Beispiele aus Benchmarks, Best Practices).
Was, wenn beide Varianten gleich gut performen? Dann ist die getestete Variable kein Hebel — auch das ist ein Ergebnis. Statt frustriert zu sein, geht es zur nächsten Hypothese. Wer A/B-tested, lernt durch das Ausschließen mindestens so viel wie durch das Finden von Siegern.
Weiterführend
- Mailchimp (2024): A/B Testing in Email Marketing. mailchimp.com/help
- Litmus (2023): Email A/B Testing Best Practices. litmus.com/blog
- HubSpot (2024): How to A/B Test Your Email Marketing. blog.hubspot.com/marketing
