J'ai déjà rédigé un article pour les spécialistes du marketing, les recommandant de connaître (au moins) une méthode statistique de base pour effectuer correctement les tests A/B. Espérons qu'avec ces quelques connaissances, l'angoisse des statistiques cessera de vous freiner dans votre carrière marketing et que vous lancerez dans des démarches plus stimulantes : Tests A/B/C.
Les tests A/B/C, tout comme les tests A/B, sont une forme d'expérience contrôlée. Dans le cas d'A/B/C, vous testez plus de deux versions (d'où l'ajout du « C » à A/B) d'une variable (page web, élément de page, e-mail, etc.). Vous pouvez les utiliser pour comparer au moins 3 versions d'un élément afin de déterminer quelle version fonctionne le mieux, comme l'envoi de plusieurs e-mails pour voir lequel génère plus d'engagement ou l'utilisation de différentes publicités pour mesurer les taux de clics. Un cas d'utilisation courant consiste à confronter une norme ou un groupe de contrôle à plusieurs variantes. Par exemple, en testant une page web actuelle par rapport à deux autres designs de page web pour déterminer laquelle génère le plus de conversions, l'originale ou les deux concurrentes.
Comme nous l'avons déjà écrit, il existe de nombreux tests différents que vous pouvez exécuter, y compris des outils qui testent plusieurs composants en même temps. Aujourd'hui, nous examinons un test A/B/C simple, comparant trois versions sur une même mesure. Il peut s'agir de taux d'ouverture ou de taux de clics sur des e-mails, des publicités ou des pages web.
L'analyse de régression logistique binaire est utilisée pour décrire la relation entre un ensemble de prédicteurs et une réponse binaire. Une réponse binaire a deux résultats, comme la réussite ou l'échec. Dans le domaine du marketing, cela se traduit souvent par des clics, des ouvertures ou des conversions. Lorsque vous ne comparez que deux approches, il existe des méthodes plus simples, comme le test à deux proportions.
Imaginons qu'un spécialiste du marketing mène une campagne publicitaire régulière sur les médias sociaux pour attirer des visiteurs sur son site web. Il décide d'exécuter un test A/B/C avec différentes versions de la publicité pour déterminer celle qui générera le plus de clics. Il cible 20 000 impressions pour chaque publicité et effectue son test. Il collecte ses résultats et les présente sous forme de graphiques. Sur la base du graphique des valeurs individuelles, il est clair que la version A a obtenu de moins bons résultats que l'original et la version B. La question reste la suivante : les différences sont-elles statistiquement significatives pour que l'on s'éloigne de l'original ?
Une fois les données collectées, je peux utiliser Minitab pour ajuster un modèle de régression logistique binaire.
En accédant à Stat > Régression > Régression logistique binaire > Ajuster le modèle logistique binaire, Minitab présente une fenêtre de dialogue qui me permet de sélectionner « Réponse au format événement/essai » et de remplir mes événements (clics) et essais (impressions). Je sélectionne également Publicité comme élément de test et je laisse Minitab créer mon modèle !
CONCLUSIONS DE L'ANALYSE DES RÉSULTATS
Nous devons maintenant nous plonger dans un peu de statistiques (pas grand-chose, juste un peu ! Vous êtes là pour apprendre quelque chose, n'est-ce pas ?). Le tableau ci-dessous montre le rapport des probabilités de succès qui compare les probabilités de deux événements, dans notre cas en cliquant sur les différentes publicités. Minitab établit la comparaison en répertoriant les niveaux dans 2 colonnes, le niveau A et le niveau B. Le niveau B est le niveau de référence du facteur. Les rapports de cotes supérieurs à 1 indiquent que l'événement, dans notre cas, est plus probable au niveau A. Les rapports de cotes inférieurs à 1 indiquent qu'il est moins probable qu'il y ait un clic au niveau A.
En ce qui concerne notre tableau, en comparant la version A à l'original, un rapport de probabilité de succès inférieur à 1 signifie qu'un clic est moins susceptible de se produire dans la version A. En descendant dans le tableau, nous constatons que la version B est plus susceptible d'obtenir un clic que l'original et la version A. Cela confirma la validité de A.
L'examen de la deuxième colonne, Intervalle de confiance à 95 %, nous permet de mieux comprendre nos données. Dans ces types d'analyses, les intervalles de confiance qui contiennent 1 dans leur plage (comme la version B par rapport à l'original, où l'IC à 95 % est de 0,9882 à 1,1038) indiquent que les probabilités de clic ou d'absence de clic sont essentiellement les mêmes pour les deux groupes.
Par conséquent, ce test nous a appris que la version A est incontestablement la publicité la moins performante et qu'il est inutile de la conserver. Cependant, ce serait une erreur de remplacer automatiquement la version B par l'original. Nous devons ensuite a) affiner notre test en effectuant un test A/B comparant l'original à la version B ou b) sélectionner l'original ou la version B pour des raisons qualitatives, telles que « respecter notre message cohérent » ou « actualiser notre message » sans se soucier de compromettre les résultats.