13 Tipps zum Testen

Ihnen gefallen die Öffnungs- und Klickraten Ihrer Kampagnen? Ihre Zielgruppe kennen Sie wie sich selbst? Und Sie sind begeistert von der Anzahl der Newsletter-Anmeldungen? Wenn alles wie am Schnürchen läuft, müssen Sie jetzt nicht weiterlesen.

Aber mal ehrlich, auch aus vermeintlich super laufenden Kampagnen lässt sich noch das letzte My herausholen.

Welche Stellschrauben dafür gedreht werden wollen, lässt sich am besten durch Testen herausfinden. Denn:

  • Tests schaffen klare Fakten, die subjektive Meinungen ablösen.
  • Tests differenzieren und berücksichtigen somit, dass die Empfänger keine homogene Masse bilden.
  • Tests überprüfen, ob Geschmäcker, Vorlieben und Verhalten sich mit der Zeit ändern.  

Darum zeige ich heute 13 Tipps, die Sie beim Testen Ihrer Kampagnen berücksichtigen sollten.

1. Probieren Sie A/B-Tests

Die wohl gängigste Variante beim Testen ist der A/B-Test (auch Split-Test genannt). Hier werden vor dem Versand zwei Varianten eines Mailings angelegt und direkt gegeneinander getestet.

Die Mailing-Varianten unterscheiden sich nur in dem zu testenden Merkmal, z.B. Betreffzeile, Textumfang oder Call-to-Action. Der Versand der Test-Varianten erfolgt zuerst an je einen zufällig ausgewählten Teil des Empfängerkreises. Im zweiten Schritt folgt der Versand der besser performenden Mailing-Variante an den Rest der Empfänger.

Solche A/B-Tests lassen sich in professionellen Lösungen wie Episerver Campaign in nur wenigen Minuten aufsetzen und das Gewinner-Mailing wird später automatisiert versendet. Trotzdem haben Sie die Möglichkeit den Zeitraum zwischen Testversand und Versand des Gewinners, das Kriterium für den Sieg (z.B. Öffnungs- oder Klickrate) sowie die Größe der Testgruppen selbst zu definieren.

Ein einfacher Layout-Test wäre ein Anfang wie z. B. Welche Button-Farbe erzielt die meisten Klicks?

2. Setzen Sie sich genaue Ziele

Bauen Sie Ihre Tests auf Basis einer eindeutigen Zielsetzung auf. Ein Test kann beispielsweise eindeutige Erkenntnisse liefern, an welcher Position auf der Webseite die Newsletter-Anmeldung die meisten neuen Abonnenten gewinnt. Oder Sie finden während eines Tests heraus, welche Button-Farbe die meisten Klicks im Newsletter erzielt.

3. Finden Sie die richtigen Kennzahlen

Wählen Sie passend zu Ihren Zielen geeignete KPIs (Key Performance Indicators) aus. Bei Betreffzeilen-Tests gilt die Aufmerksamkeit besonders der uniquen Öffnungsrate. Bei dem Test einer Landing Page achten Sie hingegen auf die Conversion Rate für Käufe, Downloads oder Registrierungen. Deshalb ist es wichtig sich vorab zu überlegen, was der Testsieger erreichen soll.


Bei diesem Test gewann das Mailing mit dem Herzen Betreff. Es erzielte 28 % mehr Öffnungen.

4. Wählen Sie markante Merkmale

Auch beim Testen sollten Sie mit kleinen Schritten starten. Setzen Sie zu Beginn auf eindeutige Ergebnisse. Fangen Sie mit auffälligen Unterschieden an. Zum Beispiel texten Sie Ihre Betreffzeile einmal in Form einer provokanten Frage und einmal in Gestalt einer informativen Botschaft. Oder Sie lassen den personalisierten Button-Text gegen eine kurze, aber besonders aktivierende Aufforderung antreten. Je stärker der Unterschied, desto eindeutiger sind die Resultate. Im Laufe der Zeit kann es dann komplexer werden.

5. Tasten Sie sich an multivariate Tests heran

Vermeiden Sie es gleichzeitig mehrere Elemente zu testen. So erhöhen Sie die Chancen eindeutige Ergebnisse zu erhalten, welche leichter zu interpretieren sind. Außerdem bleiben Ihre Tests einfach.

Anschließend bauen Sie auf den Ergebnissen auf. Dies empfiehlt sich besonders bei kleineren Verteilern von unter 10.000 Empfängern. Testen Sie über einen längeren Zeitraum hinweg und wiederholen die Testszenarien in abgewandelter Form.

Bei einer ausreichend großen Empfängerzahl können multivariate Tests in Angriff genommen werden. Hierbei testen Sie eine Hypothese, indem mehrere Variablen verändert werden. Ziel ist es dabei herausfinden, welche Kombination das beste Ergebnis erzielt.

Ein Vorschlag wäre beispielsweise drei Betreffzeilen und drei Header-Grafiken zu testen. Wenn jeder Betreff mit jedem Header kombiniert werden, kommt man auf neun Varianten. Sie ermitteln somit welche Kombination die meisten Öffnungen erzielt oder am meisten geklickt wird. Ein Vorteil ist: Sie testen mehrere Varianten in der gleichen Testumgebung.

6. Berücksichtigen Sie Nebeneffekte

Sicherlich geben die uniquen Öffnungen Auskunft darüber, welche Betreffzeile die höhere Öffnungsmotivation auslöst. Doch was, wenn die Betreffzeile jene Empfänger ködert, die anschließend nicht klicken? Beschränken Sie sich bei der Wahl Ihres Testsiegers nicht ausschließlich auf einen Indikator, sondern analysieren Sie zusätzlich Nebeneffekte und Langzeitwirkungen ganzheitlich.

Mit dem Newsletter-Pop-up-Layer, welches mit einem großzügigen Gutschein die meisten neuen Abonnenten generierte, sammeln Sie nicht unbedingt die interessiertesten Empfänger ein. Also diejenigen, die den Newsletter auch lesen und darauf künftig reagieren. Wechseln Sie das Incentive regelmäßig. Im Online-Handel können das die Versandkosten oder ein Geschenk oder unterschiedliche Gutscheinbeträge sein. Im B2B-Bereich sind Whitepaper und Checklisten gern gesehen. Auch hier können Sie testen, welches Whitepaper mehr nachhaltiges Interesse weckt.


Einen Gutschein bei der Newsletter-Anmeldung anzubieten ist immer eine gute Idee. Behalten Sie aber im Hinterkopf: Ist der Gutschein zu attraktiv, sprechen Sie nicht unbedingt (nur) interessierte Leser an.

7. Achten Sie auf valide Testszenarien

Sie sind sich nicht sicher, ob Ihr Verteiler groß genug ist für signifikante Testergebnisse? Über die Seite „tests im direktmarketing“ können Sie Ihr Signifikanzniveau spielend leicht berechnen. Weiterhin sollten Sie auf die zufällige Auswahl der Testgruppe sowie die Reproduzierbarkeit der Ergebnisse achten. Nur weil der blaue Button einmal mehr geklickt wurde als der grüne, muss das im nächsten Mailing nicht auch der Fall sein.

8. Hinterfragen Sie Testergebnisse

Donnerstags um 14:00 Uhr generiert unser Newsletter die besten Öffnungsraten – das haben wir getestet. Wirklich? Vielleicht verhält sich Ihre Zielgruppe im Sommer anders als im Winter. Oder die Zusammensetzung Ihres Verteilers hat sich in den letzten Monaten stark verändert. Nur wer kontinuierlich testet versteht, wie seine Zielgruppe tickt.

Eine andere Möglichkeit ist der Einsatz von maschinellem Lernen. Einige Omnichannel-Marketing-Anbieter setzten eine selbstständig lernende Versandzeitoptimierung ein. Bei Episerver Campaign richtet sich das Feature danach, wann einzelne Empfänger Mailings öffnen und klicken. Wechseln Abonnenten ihre Gewohnheiten, wird die Versandzeit automatisch angepasst. 

Mittels personalisierter Versandzeitpunkte können Marketer automatisch perfekt getaktete Nachrichten versenden. Hier eine Übersicht der individuellen Versandzeitpunkte in Episerver Campaign.

10. Beginnen Sie mit leichten Tests

Tests können unterschiedlich schwer ausfallen. Während sich Betreffzeilen- und Layout-Tests noch leicht aufsetzen und analysieren lassen, sind Tests mit unterschiedlichen Preisen schon eher etwas für Fortgeschrittene. Da hier zum einen diverse Optionen berücksichtigt werden müssen, wie Angebot (30-Euro-Gutschein, versandkostenfreie Lieferung), Saison, Wochentag, Feiertag, Warenkorbwert. Zum anderen lassen sich die Ergebnisse schwerer bewerten.

11. Führen Sie Protokoll

Den Test hatten wir doch gerade erst und er verlief eindeutig zu Gunsten von Element A. Sind Sie sicher? Überlassen Sie nichts dem Zufall – oder Ihrer Erinnerung. Ein ausgefülltes Testprotokoll ermöglicht Ihnen auch im Nachgang noch so manche Erkenntnis und kann beim späteren Finden einer Entscheidung sehr hilfreich sein. Außerdem lassen sich die Erkenntnisse so besser kommunizieren.

12. Crowdsourcing: Binden Sie Ihr Team mit ein

Apropos "kommunizieren": Machen Sie aus Ihren Tests ein regelmäßiges Quiz unter Kollegen. Denn besser lässt sich eine Kultur kontinuierlicher Tests nicht etablieren.

Auch ist das Know-how rund um Ihre Tests kein Staatsgeheimnis. Teilen Sie die Ergebnisse und Erfolge und eine Fan-Gemeinde unter Ihren Kollegen ist Ihnen sicher. Je nachdem wie vertraulich sie sind, lassen sich Erkenntnisse ebenso wunderbar für PR und Social Media nutzen. Lassen Sie Ihre Community mit raten.

13. Schauen Sie über den Tellerrand hinaus

Wie können Sie die Menschen da draußen noch erreichen? Denken Sie nicht nur in E-Mails. Der Einfluss von Postkarten und Wurfsendungen wird gerne übersehen. Umso überraschender ist es, wenn selbst reine Online-Marken ins Postfach flattern.

Eine andere Möglichkeit ist der Versand von SMS. Einige Online-Händler versenden beispielsweise eine SMS, wenn die Lieferung unterwegs ist.

Probieren Sie verschiedene Kanäle für unterschiedliche Informationen aus.

Fazit

Weil es so schön war, fassen wir noch einmal kurz zusammen, was zu erfolgreichen Tests gehört:

  • Ermitteln Sie per Zufallsprinzip ein repräsentatives Abbild Ihres E-Mail-Verteilers in den Testgruppen.
  • Überprüfen Sie die Signifikanz der Ergebnisse, um zufällige Schwankungen zu erkennen.
  • Bestimmen Sie einen Kollegen, der kontrolliert, dass auch wirklich das gemessen wird, was ausgewertet werden soll.
  • Etablieren Sie eine Testkultur im Team. Testen Sie regelmäßig und entlocken Sie jedem Test eine Erkenntnis.
  • Gehen Sie systematisch vor: 1. Ideen sammeln, 2. Tests planen und priorisieren und 3. die Ergebnisse für alle protokollieren.