13 Tipps zum Testen

Ihnen gefallen die Öffnungs- und Klickraten Ihrer Kampagnen? Ihre Zielgruppen kennen Sie wie sich selbst? Und Sie sind begeistert von den Newsletter-Anmeldungen? Wenn alles wie am Schnürchen läuft, müssen Sie jetzt nicht weiterlesen. Diejenigen unter Ihnen, die es nicht lassen können auch das letzte Mμ herauszuholen, erfahren heute wie man mit einfachen Mitteln und ein bisschen Kreativität seine Kampagnen stetig verbessert


Wir konzentrieren uns in diesem Beitrag aufs Testen − ein fast schon obligatorisches Werkzeug zum Optimieren. Denn:  

  • Tests schaffen klare Fakten, die subjektive Meinungen ablösen.
  • Tests differenzieren und berücksichtigen somit, dass die Empfänger keine homogene Masse bilden.
  • Tests überprüfen, ob Geschmäcker, Vorlieben und Verhalten sich mit der Zeit ändern.  

Wie integriert man nun regelmäßige Tests in seinen Alltag? Mit diesen 13 Tipps bekommen Sie ein Grundgerüst geboten, mit Beispielen, Tipps und ersten motivierende Worte eigene Tests zu starten.


Die Geschmäcker sind bekanntlich verschieden. Deshalb ist es wichtig zu testen. Wie leicht das geht, zeigen wir Ihnen mit diesen 13 Tipps.

1. Probieren Sie Split-Tests!

Ein Split-Mailing ist eine Variante eines regulären Mailings, die von diesem quasi "abgespalten" (gesplittet) wird. Sie legen fest, worin sich das Split-Mailings (oder zwei, drei…) vom Haupt-Mailing unterscheiden soll. Der Zweck eines solchen Splits besteht darin, verschiedene Mailings gegeneinander zu testen, um das Mailing, welches am besten abschneidet, als Haupt-Mailing zu verschicken. Häufig werden folgende Elemente getestet:

  • Betreffzeile: Testen Sie, wie sich verschiedene Betreffzeilen auf die Öffnungsrate auswirken.
  • Header Titel, Einführungstext: Testen Sie verschiedene Kopfgrafiken, Titel, Einführungstexte usw.
  • Zielgruppenspezifisches Testen: Testen Sie ein Mailing bzw. eine Mailing-Variante an verschiedenen Zielgruppen (z. B. Männer und Frauen)
  • Versandzeitpunkt: Testen Sie, welcher der optimale Versandzeitpunkt Ihres Mailings ist.

Professionelle E-Mail-Marketing-Software-Anbieter stellen Ihnen die Möglichkeit A/B-Tests bzw. mehrteilige Split-Tests zu fahren bereit. 

Ein einfacher Layout-Test wäre ein Anfang wie z. B. Welche Button-Farbe erzielt die meisten Klicks?

2. Setzen Sie sich genaue Ziele!

Bauen Sie Ihre Tests auf Basis einer eindeutigen Zielsetzung auf. Ein Test kann beispielsweise eindeutige Erkenntnisse liefern, an welcher Position auf der Webseite die Newsletter-Anmeldung die meisten neuen Abonnenten gewinnt. Oder Sie finden während eines Tests heraus, welche Button-Farbe die meisten Klicks im Newsletter erzielt.

3. Finden Sie die richtigen Kennzahlen!

Wählen Sie passend zu Ihren Zielen geeignete KPIs (Key Performance Indicators) aus. Bei Betreffzeilen-Tests gilt die Aufmerksamkeit besonders der uniquen Öffnungsrate. Bei einem Test einer Landingpage zur Conversion-Optimierung achten Sie hingegen auf Käufe, Downloads oder Registrierungen. Deshalb ist es besser sich vorab zu überlegen, was der Testsieger erreichen soll. Obacht.

Bei diesem Test wurde unter dem Button noch einmal die URL als Fließtext verlinkt (Version B). Diese zweite Verlinkung ist persönlicher und weist auf ein zur Zielgruppe passendes Angebot. Siehe auch: Should you add or avoid putting a link directly under your main CTA?

Bei diesem Test gewann das Mailing mit dem Herzen Betreff. Es  erzielte 28 % mehr Öffnungen. Mehr zum Test gibt es unter: How do Icons impact email opens?

4. Wählen Sie markante Merkmale!

Wie so oft, sollten Sie auch das Projekt Newsletter Testen in kleinen Schritten angehen. Setzen Sie zu Beginn auf eindeutige Ergebnisse? Fangen Sie mit auffälligen Unterschieden an.  Zum Beispiel texten Sie Ihre Betreffzeile einmal in Form einer provokanten Frage und einmal in Gestalt einer informativen Botschaft. Oder Sie lassen den personalisierten Button-Text gegen eine kurze, aber besonders aktivierende Aufforderung antreten. Je stärker der Unterschied, desto eindeutiger sind die Resultate. Das Feintuning folgt

5. Testen Sie einzeln!

Vermeiden Sie es gleichzeitig mehrere Elemente zu testen. So erhöhen Sie die Chancen eindeutige Ergebnisse zu erhalten, welche leichter zu interpretieren sind. Außerdem bleiben Ihre Tests einfach. Wir empfehlen Ihnen lieber einzelne Elemente zu testen. Anschließend bauen Sie auf den Ergebnissen auf. Dies empfiehlt sich besonders bei kleineren Verteilern von unter 10.000 Empfängern. Testen Sie über  einen längeren Zeitraum hinweg und wiederholen die Testszenarien in abgewandelter Form.

Bei einer ausreichend großen Empfängerzahl können multivariate Tests in Angriff genommen werden. Hierbei testen Sie eine Hypothese, in dem mehrere Variablen verändert werden. Ziel ist es dabei herausfinden, welche Kombination das beste Ergebnis erzielt.

Auch wir testen. So geschehen beim Vorstellen des Whitpaper "Bessere Betreffzeilen texten". Versendet wurde eine Variante mit und eine ohne erläuternde Info-Box. Das Mailing ohne Info-Box erzielte eine höhere Klickrate.

Ein Vorschlag wären beispielsweise drei Betreffzeilen und drei Header-Grafiken zu testen. Wenn jeder Betreff mit jedem Header kombiniert werden, kommt man auf neun Varianten. Sie ermitteln somit welche Kombination  die meisten Öffnungen und am meisten geklickt wird.

Ein Vorteil ist: Sie testen mehrere Varianten in der gleichen Testumgebung. Hilfreich ist es bei Tests dieses Ausmaßes sein statistisches Know-how aufzufrischen oder sich weitere Kollegen mit ins Boot zu holen. 

Ob Ihr Verteiler groß genug ist, für so breitgefächerte Tests, können Sie über einen Signifikanzrechner ermitteln.

6. Berücksichtigen Sie Nebeneffekte!

Sicherlich geben die uniquen Öffnungen Auskunft darüber, welche Betreffzeile die höhere Öffnungsmotivation auslöst. Doch was, wenn die Betreffzeile jene Empfänger ködert, die anschließend nicht klicken? Beschränken Sie sich bei der Wahl Ihres Testsiegers nicht ausschließlich auf einen Indikator, sondern analysieren Sie zusätzlich Nebeneffekte und Langzeitwirkungen ganzheitlich.

Mit dem Newsletter-Pop-up-Layer, welches mit einem tollen Gutschein die meisten neuen Abonnenten generierte, sammeln Sie nicht unbedingt die interessiertesten Empfänger ein. Also diejengen, die den Newsletter auch lesen und darauf künftig reagieren. Wechseln Sie das Incentive regelmäßig. Im Online-Handel können das die Versandkosten oder, ein Geschenk oder unterschiedliche Gutscheinbeträge sein. Im B2B-Bereich sind Whitepaper und Checklisten gern gesehen. Auch hier können Sie testen, welches Whitepaper mehr nachhaltiges Interesse weckt.

Einen Gutschein bei der Newsletter-Anmeldung anzubieten ist immer eine gute Idee. Behalten Sie aber im Hinterkopf: Ist der Gutschein zu attraktiv, sprechen Sie nicht unbedingt interessierte Leser an. Wechseln Sie deshalb die Incentives regelmäßig und beobachten Sie die Entwicklung Ihres Verteilers.

7. Achten Sie auf valide Testszenarien!

Sie sind sich nicht sicher, ob Ihr Verteiler groß genug ist für signifikante Testergebnisse? Über die Seite „tests im direktmarketing“ können Sie Ihr Signifikanzniveau spielend leicht berechnen. Weiterhin sollten Sie auf die zufällige Auswahl der Testgruppe sowie die Reproduzierbarkeit der Ergebnisse achten. Nur weil der blaue Button einmal mehr geklickt wurde als der grüne, muss das im nächsten Mailing nicht auch der Fall sein.

8. Hinterfragen Sie Testergebnisse!

Donnerstags um 14:00 Uhr generiert unser Newsletter die besten Öffnungsraten – das haben wir getestet. Wirklich? Vielleicht verhält sich Ihre Zielgruppe im Sommer anders als im Winter. Oder die Zusammensetzung Ihres Verteilers hat sich in den letzten Monaten stark verändert. Nur wer kontinuierlich testet versteht, wie seine Zielgruppe tickt.

Eine andere Möglichkeit ist der Einsatz von maschinellem Lernen. Einige Omnichannel-Marketing-Anbieter setzten eine selbstständig lernende Versandzeitoptimierung ein. Bei optivo® broadmail richtet sich das Feature danach wann einzelne Empfänger Mailings öffnen und klicken. Wechseln Abonnenten ihre Gewohnheiten, wird die Versandzeit automatisch angepasst. 

Mittels personalisierter Versandzeitpunkte können Marketer automatisch perfekt getaktete Nachrichten versenden. Hier ein Beispiel von optivo® broadmail wie ein Versand aussehen kann.

Der Versandhändler Quelle nutzt seinen Newsletter für Tests mit unterschiedlichen Angeboten für unterschiedliche Zielgruppen.

10. Beginnen Sie mit leichten Tests!

Tests können unterschiedlich schwer ausfallen. Während sich Betreffzeilen- und Layout-Tests noch leicht aufsetzen und analysieren lassen, sind Tests mit unterschiedlichen Preisen schon eher etwas für Fortgeschrittene. Da hier zum einen diverse Optionen berücksichtigt werden müssen,  wie  Angebot (30-Euro-Gutschein, versandkostenfreie Lieferung), Saison, Wochentag, Feiertag, Warenkorbwert. Zum anderen lassen sich die Ergebnisse schwerer bewerten.


11. Führen Sie Protokoll!

Den Test hatten wir doch gerade erst und er verlief eindeutig zu Gunsten von Element A. Sind Sie sicher? Überlassen Sie nichts dem Zufall – oder Ihrer Erinnerung. Ein ausgefülltes Testprotokoll ermöglicht Ihnen auch im Nachgang noch so manche Erkenntnis und kann beim späteren Finden einer Entscheidung sehr hilfreich sein. Außerdem lassen sich die Erkenntnisse so besser kommunizieren.

12. Crowdsourcing: Binden Sie Ihr Team mit ein!

Apropos "kommunizieren": Machen Sie aus Ihren Tests ein regelmäßiges Quiz unter Kollegen. Denn besser lässt sich eine Kultur kontinuierlicher Tests nicht etablieren. So gesehen bei unternehmer.de. Hier finden regelmäßig Betreffzeilen-Votings mit Hilfe von Google Forms statt. 

Auch ist das Know-how rund um Ihre Tests kein Staatsgeheimnis. Teilen Sie die Ergebnisse und Erfolge und eine Fan-Gemeinde unter Ihren Kollegen ist Ihnen sicher. Je nachdem wir vertraulich sie sind, lassen sich Erkenntnisse  ebenso wunderbar für PR und Social Media nutzen. Lassen Sie Ihre Community mit raten. 

Holen Sie Ihre Kollegen mit ins Boot. Mit Google Forms können Sie schnell eine kleine Umfrage für die beste Betreffzeile erstellen. Gleichzeitig machen Sie Ihre Freude am Testen im Unternehmen bekannt. 

Warum testen Sie nicht einmal den Versand von Postkarten? Sei es für eine Aktion, ein neues Produkt oder ein Event. Im nächsten Step können Sie auf den Karten Kurz-URL und Q-Codes gegeneinander antreten lassen.

13. Schauen Sie über den Tellerrand hinaus! 

Wie können Sie die Menschen da draußen noch erreichen? Denken Sie nicht nur in E-Mails. Der Einfluss von Postkarten und Wurfsendungen wird gerne übersehen. Umso überraschender ist es,  wenn selbst reine Online-Marken wie hier bei unseren Beispielen von dem Messenger-Dienst slack  ins Postfach flattern. Bei Optivo versenden wir regelmäßig Postkarten, um z. B. auf Events hinzuweisen.

Eine andere Möglichkeit ist der Versand von SMS. Einige Online-Händler versenden beispielsweise eine SMS, wenn die Lieferung unterwegs ist.

Fazit

Weil es so schön war, fassen wir noch einmal kurz zusammen, was zu erfolgreichen Tests gehört: 

  • Ermitteln Sie per Zufallsprinzip ein repräsentatives Abbild Ihres E-Mail-Verteilers in den Testgruppen. Eine modernes ESP ist automatisch fähig dazu.
  • Überprüfen Sie die Signifikanz der Ergebnisse, um zufällige Schwankungen zu erkennen.
  • Bestimmen Sie einen Kollegen der kontrolliert, dass auch wirklich das gemessen wird, was ausgewertet werden soll.
  • Etablieren Sie eine Testkultur im Team. Testen Sie regelmäßig und entlocken Sie jedem Test eine Erkenntnis. 
  • Gehen Sie systematisch vor: 1. Ideen sammeln, 2. Tests planen und priorisieren und 3. die Ergebnisse für alle protokollieren.

Noch ein kleiner Tipp: Communities wie BEHAVE (Früher WichTestWon) bieten Ihnen Ideen für Testszenarien. Vielleicht haben Sie es bemerkt, wir haben mehrere Beispiele von dort gezeigt. Sie können dort ebenso eigene Tests einreichen. Je nachdem wie viel Sie verraten möchten, haben Sie ein schönes Thema parat, welches über Blog oder Social Media etwas hinter die Kulissen schauen lässt.