Ich habe bereits geschrieben, dass Marketingexperten (zumindest) eine grundlegende statistische Methode kennen sollten, um A/B-Tests richtig durchzuführen. Mit etwas Wissen unter dem Arm werden Sie hoffentlich nicht länger Angst vor Statistiken haben und sich in Ihrer Marketingkarriere behindern lassen, sondern sich einer etwas anspruchsvolleren Aufgabe stellen: A/B/C-Tests.
A/B/C-Tests sind, ähnlich wie A/B-Tests, eine Form des kontrollierten Experiments. Im Falle von A/B/C testen Sie mehr als zwei Versionen (daher das zusätzliche „C“ bei A/B) einer Variablen (Webseite, Seitenelement, E-Mail usw.). Damit können Sie drei oder mehr Versionen vergleichen, um festzustellen, welche Version besser abschneidet. So können Sie z. B. mehrere E-Mails versenden, um zu sehen, welche mehr Aufmerksamkeit erregt, oder verschiedene Anzeigen verwenden, um die Klickraten zu messen. Ein häufiger Anwendungsfall ist der Vergleich einer Standard- oder Kontrollgruppe mit mehreren Varianten. Testen Sie zum Beispiel eine aktuelle Webseite gegenüber zwei alternativen Webseitendesigns, um zu sehen, welches Design mehr Konversionen bringt, das Original oder die beiden Konkurrenten.
Wie wir bereits geschrieben haben, gibt es viele verschiedene Tests, die Sie durchführen können. Außerdem gibt es Tools, die mehrere Komponenten gleichzeitig testen. Heute sehen wir uns einen einfachen A/B/C-Test an, bei dem drei Versionen anhand einer Messgröße verglichen werden. Das können Öffnungs- oder Klickraten für E-Mails, Anzeigen oder Webseiten sein.
Mit der binären logistischen Regressionsanalyse wird die Beziehung zwischen einer Reihe von Prädiktoren und einer binären Antwort beschrieben. Eine binäre Antwort bietet zwei Ergebnisse wie etwa „bestanden“ oder „nicht bestanden“. Im Marketing bedeutet dies häufig Klicks, Öffnen oder Konversionen. Wenn Sie nur zwei Ansätze vergleichen wollen, gibt es einfachere Methoden, z. B. den Test von zwei Anteilen.
Nehmen wir an, ein Vermarkter betreibt eine regelmäßige Werbekampagne in den sozialen Medien, um Besucher auf seine Website zu leiten. Er beschließt, einen A/B/C-Test mit verschiedenen Versionen der Anzeige durchzuführen, um zu sehen, welche Anzeige die meisten Klicks bringt. Als Zielvorgabe für jede Anzeige werden 20.000 Einblendungen festgelegt und der Test wird durchgeführt. Sie sammeln ihre Ergebnisse und stellen sie grafisch dar. Anhand des Einzelwertdiagramms wird deutlich, dass Version A schlechter abschneidet als das Original und Version B. Die Frage ist jedoch: Sind die Unterschiede statistisch signifikant, um vom Original abzurücken?
Mit den erhobenen Daten kann ich mit Minitab ein binäres logistisches Regressionsmodell erstellen.
Wenn Sie zu Statistik > Regression > binäre logistische Regression > binäres logistisches Modell erstellen wechseln, zeigt Minitab ein Dialogfenster an, in dem ich „Antwort im Ereignis-/Versuchsformat“ auswählen und meine Ereignisse (Klicks) und Versuche (Einblendungen) eingeben kann. Außerdem wähle ich Werbung als Testobjekt aus und lasse Minitab mein Modell erstellen!
Jetzt müssen wir ein wenig in die Statistik eintauchen (nicht allzu tief, nur ein wenig! Sie sind doch hier, um etwas zu lernen, oder?). In der folgenden Tabelle sehen wir das Chancenverhältnis (Odds Ratio), das die Wahrscheinlichkeit von zwei Ereignissen vergleicht, in unserem Fall das Anklicken der verschiedenen Anzeigen. Minitab erstellt den Vergleich, indem es die Werte in 2 Spalten auflistet, Level A und Level B. Level B ist der Referenzwert für den Faktor. Wahrscheinlichkeitsquotienten, die größer als 1 sind, zeigen an, dass das Ereignis, in unserem Fall Klicks, auf Level A wahrscheinlicher ist. Wahrscheinlichkeitsquotienten, die kleiner als 1 sind, zeigen an, dass die Wahrscheinlichkeit eines Klicks auf Level A geringer ist.
Im Hinblick auf unsere Tabelle, in der wir Version A mit dem Original vergleichen, bedeutet ein Chancenverhältnis von weniger als 1, dass ein Klick bei Version A unwahrscheinlicher ist. Weiter unten in der Tabelle sehen wir, dass bei Version B die Wahrscheinlichkeit eines Klicks sowohl gegenüber dem Original, als auch gegenüber Version A höher ist. Dies bestätigt, was wir grafisch dargestellt und verglichen haben, aber wo sind die zusätzlichen Informationen?
Wenn wir uns die zweite Spalte, das Konfidenzintervall von 95 %, ansehen, erhalten wir einen zusätzlichen Einblick in unsere Daten. Bei dieser Art von Analysen zeigen Konfidenzintervalle, die in ihrem Bereich eine 1 enthalten (wie Version B gegenüber dem Original, bei dem das 95%ige KI 0,9882,1,1038 beträgt), dass die Wahrscheinlichkeit eines Klicks im Vergleich zu keinem Klick für die beiden Gruppen im Wesentlichen gleich ist.
Somit hat uns dieser Test gezeigt, dass Version A ohne Frage die schlechteste Werbung ist und es sich nicht lohnt, sie weiter zu verwenden. Es wäre jedoch ein Fehler, die Version B automatisch durch das Original zu ersetzen. Als nächstes sollten wir entweder a) unseren Test mit einem A/B-Test verfeinern, bei dem wir das Original mit der Version B vergleichen, oder b) das Original bzw. die Version B aus qualitativen Gründen wie „Beibehaltung unserer konsistenten Botschaften“ oder „Auffrischung unserer Botschaften“ auswählen, ohne uns um die Ergebnisse Gedanken zu machen.