A/B-Tests für E-Mails

A/B-Test (auch Split-Test) ist eine Methode, bei der zwei Varianten einer E-Mail an je eine Teilgruppe der Liste gesendet werden, um zu ermitteln, welche Variante besser performt.

Rubrik: Online-Marketing & Content · Unterrubrik: E-Mail-Marketing · Niveau: Einsteiger

Was ist ein A/B-Test für E-Mails?

Ein A/B-Test eliminiert Rätselraten. Statt zu vermuten, welche Betreffzeile: Öffnungsrate steigern besser ankommt oder welcher CTA mehr Klicks bringt, liefert ein Test Daten. Variante A geht an 20 % der Liste, Variante B an weitere 20 %. Nach einer festgelegten Zeit gewinnt die bessere Variante – und wird automatisch an die restlichen 60 % gesendet. Über Zeit entsteht so ein datenbasiertes Verständnis der eigenen Zielgruppe.

Erklärung

Was kann man testen?

Grundsätzlich lässt sich fast jedes Element einer E-Mail testen:

Hohe Auswirkung (empfohlen zum Testen):

• Betreffzeile (größter Einfluss auf Öffnungsrate)
• Preheader-Text: Der unterschätzte Hebel-Text
• Absendername (z.B. „Dominik von Lazi-Akademie" vs. „Lazi-Akademie")
• CTA-Formulierung und Farbe
• E-Mail-Länge (kurz vs. lang)
• Personalisierung (mit Name vs. ohne)
• Sendezeitpunkt / Wochentag

Mittlere Auswirkung:

• Einstiegssatz / Hook
• Bildnutzung (mit vs. ohne Bild)
• Layout (einspaltig vs. zweispaltig)
• Ton (formell vs. informal)

Geringe Auswirkung (erst testen, wenn anderes optimiert):

• Schriftgröße
• Buttonfarbe
• Anzahl der Absätze
• Footer-Gestaltung

Das Prinzip: Immer nur eine Variable

Der häufigste Fehler bei A/B-Tests: Mehrere Dinge gleichzeitig ändern. Wenn Variante B eine andere Betreffzeile, einen anderen CTA und ein anderes Bild hat, weiß man nicht, was den Unterschied gemacht hat.

Regel: Pro Test eine Variable ändern. Nur so kann man kausal schlussfolgern: „Diese Betreffzeile hat die Öffnungsrate um X % verbessert."

Stichprobengröße und statistische Signifikanz

Ein A/B-Test braucht ausreichend viele Daten, um verlässlich zu sein. Als grobe Richtlinie:

• Minimum: ca. 100–200 Empfänger pro Variante für einfache Entscheidungen
• Empfohlen: 500+ Empfänger pro Variante für belastbare Ergebnisse
• Statistisch ideal: 1.000+ pro Variante, 95 % Konfidenzintervall

Bei kleinen Listen unter 1.000 Abonnenten sind A/B-Tests statistisch wenig aussagekräftig. In diesem Fall: Trends beobachten, Testergebnisse als Hinweise, nicht als Beweis werten. Dennoch sind auch qualitative Tests wertvoll (Reaktionen, Antworten auf E-Mails).

Statistische Signifikanz: Das Testergebnis sollte mit mindestens 95 % Konfidenz gelten – d.h. die Wahrscheinlichkeit, dass der Unterschied durch Zufall entstanden ist, liegt bei höchstens 5 %. Die meisten E-Mail-Tools (Mailchimp, Klaviyo) berechnen das automatisch.

Testdauer

• Öffnungsrate testen: 2–4 Stunden nach Versand (die meisten Öffnungen passieren in den ersten 2 Stunden)
• CTR testen: 24 Stunden (Klicks kommen später)
• Conversion testen: 48–72 Stunden

Zu kurze Testdauer = statistische Verzerrung. Zu lange Testdauer = die Gewinner-Variante kommt spät zur restlichen Liste.

A/B-Test vs. Multivariate Tests

Ein A/B-Test testet zwei Varianten. Ein multivariater Test testet mehrere Variablen gleichzeitig (z.B. 4 Varianten = 2 Betreffzeilen × 2 CTAs). Multivariate Tests erfordern deutlich größere Listen (10.000+ Empfänger) und werden von kleinen Unternehmen selten genutzt.

Systematisches Testing-Programm

Ein einmaliger Test hilft wenig – ein kontinuierliches Testprogramm baut Wissen auf:

Monat 1–3: Betreffzeilen-Tests (direkte Frage vs. Nutzenversprechen vs. Neugier) Monat 4–6: Absender-Tests, Sendezeitpunkt Monat 7–9: CTA-Formulierungen, Bildnutzung Monat 10–12: Längere vs. kürzere E-Mails, Story-Format vs. Liste

Nach einem Jahr hat man ein detailliertes Bild, was bei der eigenen Zielgruppe funktioniert.

Beispiele

Test 1: Betreffzeile

• Variante A: „5 Fehler, die Fotografen machen"
• Variante B: „Warum dein Kalender leer bleibt (und wie du das änderst)"
• Metrik: Öffnungsrate

Test 2: CTA

• Variante A: Button „Mehr erfahren"
• Variante B: Button „Zeig mir die Methode"
• Metrik: Click-Through-Rate (CTR)

Test 3: Absendername

• Variante A: „Lazi-Akademie"
• Variante B: „Dominik von der Lazi-Akademie"
• Metrik: Öffnungsrate

In der Praxis

1. Hypothese formulieren: „Ich glaube, dass eine Frage-Betreffzeile eine höhere Öffnungsrate hat als eine Nutzen-Betreffzeile, weil Neugier ein stärkerer Treiber ist als rationale Argumentation."
2. Test einrichten: Variante A und B im E-Mail-Tool anlegen
3. Ergebnis abwarten: Ausreichend Zeit für statistische Signifikanz
4. Gewinner ermitteln und einsetzen
5. Erkenntnisse dokumentieren: Was haben wir gelernt? Hypothese bestätigt oder widerlegt?

Vergleich & Abgrenzung

A/B-Test vs. Multivariate Test: A/B = zwei Varianten, eine Variable. Multivariate = mehrere Variablen gleichzeitig. A/B ist einfacher und ausreichend für die meisten Anwender.

A/B-Test vs. qualitatives Feedback: A/B-Tests liefern Zahlen. Direktes Abonnenten-Feedback (Antworten auf E-Mails, Umfragen) liefert Kontext und Erklärungen. Beides zusammen führt zu echtem Verständnis.

Häufige Fragen (FAQ)

Meine Liste ist klein – macht A/B-Testing Sinn? Bei unter 500 Abonnenten sind die Ergebnisse statistisch nicht signifikant. Trotzdem: Testen und Trends beobachten. Über Monate sammeln sich Muster an, auch ohne statistische Sicherheit.

Wie viele Tests sollte ich gleichzeitig laufen lassen? Immer nur einen Test pro Kampagne. Gleichzeitige Tests an derselben Liste können Ergebnisse verzerren.

Welche Metrik ist wichtiger: Öffnungsrate oder CTR? Das hängt vom Ziel ab. Öffnungsrate misst, ob die Verpackung (Betreff + Preheader) funktioniert. CTR misst, ob der Inhalt und CTA funktionieren. Beide sind relevant. Mehr im Eintrag E-Mail-Metriken.

Verwandte Einträge

• E-Mail-Metriken
• Betreffzeile: Öffnungsrate steigern
• Preheader-Text: Der unterschätzte Hebel
• Copywriting für E-Mails: Storytelling, CTA
• Segmentierung: Personalisierte E-Mails
• E-Mail-Tools im Vergleich: Mailchimp, Klaviyo, ActiveCampaign, Brevo

Weiterführend

• Kohavi, Ron / Tang, Diane / Xu, Ya (2020): Trustworthy Online Controlled Experiments. Cambridge University Press.
• Optimizely (2023): A/B Testing Guide. optimizely.com/optimization-glossary/ab-testing
• Mailchimp (2023): How to A/B Test Email Campaigns. mailchimp.com/resources
• Campaign Monitor (2023): A/B Testing Best Practices. campaignmonitor.com