Auparavant, il arrivait que les spécialistes marketing tremblent en entendant le mot "statistiques". Désormais, si vous n'intégrez pas les statistiques et les analyses à votre stratégie marketing, vous vous ferez devancer par vos concurrents.
Heureusement, les entreprises comme Minitab facilitent l'analyse des données. Comme vous le verrez dans l'exemple de tests A/B, il est très simple de vous plonger dans le domaine des statistiques.
Que sont les A/B tests?
Les A/B tests, également appelés tests fractionnés, font référence à un processus d'expérimentation randomisée dans lequel au moins deux versions d'une variable (page Web, élément de page, e-mail, etc.) sont montrées en même temps à différents publics dans le but de déterminer la version qui a le plus d'impact. Il peut par exemple s'agir d'envoyer plusieurs e-mails pour observer lequel génère le plus d'implication des clients, d'utiliser différentes publicités pour mesurer les taux de clic ou encore d'effectuer des tests d'URL fractionnés, qui consistent à diviser le trafic d'un site Web entre un groupe de contrôle (souvent la page Web d'origine) et une variation (telle qu'un nouveau design).
Une méthode simple pour des A/B tests simples
La plupart des spécialistes marketing utilisent un certain type de A/B tests. Malheureusement, malgré leur volonté de déterminer le contenu qui génère le plus d'implication, les spécialistes marketing n'effectuent généralement pas de test d'hypothèse pour vérifier si leurs résultats sont réellement statistiquement significatifs.
Il existe différents types d'A/B tests, notamment les tests multivariés, qui transforment plusieurs composants en même temps. Dans cet article, nous étudions les A/B tests simples qui comparent deux groupes. Ainsi, l'outil le plus approprié est un test d'hypothèse simple d'utilisation, appelé test de proportion à deux échantillons.
Exemple 1 : exécution d'un test de proportion pour réaliser des A/B tests d'une campagne par e-mail
Imaginons qu'une spécialiste marketing envoie chaque mois des e-mails pour promouvoir des formations. L'objectif de ces e-mails est de générer l'intérêt des clients et de faire connaître les formations proposées. Elle obtient d'assez bons résultats d'habitude, mais elle souhaite voir si elle peut améliorer ses performances.
Elle décide d'effectuer un A/B test. Elle aimerait cibler 2 329 clients. Elle décide de diviser les clients en deux groupes : E-mail 1 et E-mail 2. Elle conserve le même e-mail que le mois dernier pour E-mail 1, qu'elle enverra à environ 50 % de ses clients. Les 50 % restants recevront E-mail 2.
Elle procède à l'envoi des e-mails. E-mail 1 obtient un taux d'ouverture de 12 % (140 ouvertures) et E-mail 2 un taux de 9,8 % (115 ouvertures). La plupart des spécialistes marketing diraient qu'E-mail 1 présente de meilleurs résultats, n'est-ce pas ?
Nous pouvons nous appuyer sur les analyses pour décider si cette différence de 2,2 % (12 % - 9,8 %) est statistiquement significative. De nombreuses personnes s'arrêteraient là, car il est trop difficile de déterminer la marche à suivre pour nous aider à répondre à cette question rapidement et aisément. En trois clics et quatre nombres, vous pouvez savoir si la différence est statistiquement significative !
La méthode est un test de proportion à deux échantillons dans Minitab. Il vous indiquera si ces deux proportions sont statistiquement différentes, en fonction des effectifs d'échantillons, du niveau de confiance et des taux d'ouverture observés. Dans Stat > Statistiques élémentaires > 2 proportions, Minitab présente une boîte de dialogue me permettant de calculer rapidement mes données récapitulées. Je saisis simplement mes données (les événements correspondent aux ouvertures et l'échantillon correspond au nombre d'e-mails) et Minitab s'occupe du reste !
Conclusion
En observant les résultats ci-dessous, je peux voir que la véritable différence entre les groupes, avec un intervalle de confiance à 95 %, peut aussi bien être 0 que 0,022 (ou 2,2 %). En langage statistique, cela signifie que nous "ne rejetons pas l'hypothèse nulle selon laquelle les proportions sont égales". En d'autres termes, les deux groupes ne sont PAS statistiquement différents au niveau de confiance à 95 %. Bien qu'un des e-mails obtienne un taux d'ouverture de 12 % et que l'autre obtienne un taux de 9,8 %, il n'existe pas de différence statistique entre les performances des e-mails. Il pourrait être erroné de conclure que ces e-mails génèrent différents taux d'ouverture.
La comparaison de deux proportions constitue une méthode utile permettant de vérifier que vous profitez pleinement de votre stratégie d'A/B tests. En intégrant des analyses à votre travail de marketing et en améliorant la maîtrise des données de votre équipe, vous serez en mesure de prendre de meilleures décisions.
Téléchargez la version d'essai de 30 jours du logiciel Minitab et expérimentez directement les tests d'hypothèses !
