Se você é um profissional de marketing, sabe que enviar e-mails promocionais e simplesmente torcer pelo melhor não é a melhor prática. Idealmente, você deve dedicar algum tempo para explorar o desempenho de seus e-mails e descobrir medidas que pode tomar para aumentar esse desempenho.
Com um pouco de esforço, é possível enviar duas versões de um e-mail de marketing para uma amostra de seus leitores e comparar métricas de sucesso antes de enviar a melhor versão para o público total. Dessa forma, você pode identificar a melhor versão pelas métricas de sucesso por meio da taxa de abertura e/ou a taxa de cliques.
A taxa de abertura é a porcentagem de pessoas que abriram o e-mail entre as que o receberam. A taxa de cliques é a porcentagem de contatos que receberam o e-mail e clicaram em pelo menos um link, demonstrando mais envolvimento do que apenas abrir a mensagem.
Vamos compartilhar um caso de uso de como isso funcionou para nossa equipe de marketing na Minitab. Realizamos um teste A/B para comparar duas versões de um e-mail e revisamos as taxas de cliques como métricas de sucesso.
A equipe documentou o teste com um mapa de processo para descrever as etapas
Antes de executarmos o teste, fizemos as seguintes perguntas:
- Como podemos determinar os tamanhos de amostra solicitados para testar duas versões de um e-mail para que as métricas de sucesso sejam estimadas com precisão suficiente?
- Como podemos comparar duas versões de um e-mail para que uma diferença específica em termos de sucesso possa ser detectada?
Como ambas as perguntas exigem uma linha de base em termos de métricas de sucesso, usamos dados históricos para fazer estimativas. Queríamos saber quais eram as métricas de sucesso de benchmark para um e-mail de marketing semelhante com o mesmo público-alvo. Neste exemplo, nosso benchmark é um e-mail semelhante enviado a um público semelhante em que 340 de 100 mil leitores clicaram em um ou vários links inseridos na mensagem. A taxa de cliques da linha de base é de 0,34%.
COLOCANDO EM PRÁTICA:
Primeira forma de calcular tamanhos de amostra para comparar o sucesso de duas versões de um e-mail:
é possível calcular o número de leitores por amostra usando o teste Tamanho da amostra para estimativa” no Minitab® Statistical Software para estimar a taxa de cliques dentro de determinada margem de erro.
Por exemplo, vamos pegar tamanhos de amostra de 10 mil contatos de uma população pelo menos 10 vezes maior, ou seja, pelo menos 100 mil leitores no total. Se a taxa de cliques esperada for nosso benchmark de 0,34%, o limite inferior no nível de 95% seria 0,21%, e o limite superior, 0,47%.
Use Estatísticas > Poder e tamanho de amostra > Tamanho da amostra para estimativa no Minitab Statistical Software®. O intervalo de confiança de 95% estaria entre 0,24% e 0,47% para a taxa de cliques.
Como o tamanho da amostra é pequeno em comparação com o tamanho da população, as distribuições binomiais ou hipergeométricas para modelar os dados amostrados forneceriam resultados semelhantes. Cabe a você decidir se essa margem de erro para taxas de cliques é aceitável e estimará essa métrica de sucesso com precisão suficiente.
Segunda forma de calcular tamanhos de amostra para comparar o sucesso de duas versões de um e-mail:
usando o Teste de duas proporções, que pode ser encontrado no menu Estatística > Estatística básica > Duas proporções do Minitab Statistical Software, é possível determinar qual tamanho amostral é necessário para detectar uma certa diferença entre as taxas de cliques das duas versões de e-mail com uma probabilidade ou poder necessário.
A taxa de cliques do benchmark para sua primeira campanha de e-mail é de 0,34%. A alteração que você poderia detectar na taxa de cliques seria de 0,34% a 0,63% em 90% dos casos se você escolhesse um tamanho de amostra de 10 mil contatos para cada versão de e-mail.
Use Estatísticas > Poder e tamanho da amostra > 2 proporções para determinar o tamanho da amostra
Se você quisesse detectar uma diferença menor entre as taxas de cliques, poderia aumentar o tamanho da amostra para ver qual impacto ela tem na sensibilidade do teste.
Pronto para determinar o tamanho da amostra para suas próprias comparações? Comece sua avaliação gratuita do Minitab Statistical Software >
Qual teste estatístico pode ajudar a comparar o sucesso de cada uma das duas versões de e-mail enviadas?
Agora que o teste foi executado, gostaríamos de comparar os resultados para selecionar a melhor versão do e-mail.
Número de entregas, aberturas e cliques para cada uma das duas versões do e-mail
Embora as porcentagens sejam percebidas como maiores para a versão B nesta tabela descritiva, é importante usar um teste estatístico para verificar se a diferença é significativa para a métrica de sucesso que a equipe está observando neste exemplo, ou seja, a taxa de cliques.
O teste estatístico é chamado de % de duas amostras com defeito e está acessível no menu Assistente do Minitab Statistical Software. Tradicionalmente, esse teste é usado para demonstrar a diferença nas taxas de defeitos de duas populações por meio de amostragem. Neste exemplo, o evento de referência não é uma unidade com defeito, é um clique. Assim, uma alta taxa de defeitos significa uma alta taxa de cliques.
Use Assistente > Testes de hipótese > Compare duas amostras > % de 2 amostras com defeito para comparar as taxas de cliques das duas versões do e-mail: versão A e versão B
O resultado fornece diretrizes sobre como interpretar os dados.
O resultado estatístico revela que os dados fornecem evidências suficientes no nível de 10% para concluir que a % de defeitos, aqui a % de cliques, da versão A é significativamente menor do que a da versão B.
O motivo é simples: cada versão de e-mail não foi entregue às amostras recomendadas de 10 mil leitores. Como em muitos experimentos reais, o teste não pôde ser executado sob as condições recomendadas.
Os tamanhos de amostra usados permitem apenas a detecção de um aumento real na taxa de cliques de cerca de 1% das versões de e-mail A a B quando essa diferença existe.
A equipe pode então decidir selecionar amostras adicionais para aumentar o poder do teste ou selecionar uma versão do e-mail em vez da outra, embora as taxas de cliques não tenham mostrado ser estatisticamente significativas. A equipe também pode comparar as taxas de abertura usando um método semelhante para obter outro elemento para comparação.
Interessado em mais conteúdo sobre teste de e-mail A/B, ou teste de e-mail A/B/C? Leia nosso blog!
