Escrevi anteriormente que os profissionais de marketing devem conhecer (pelo menos) um método estatístico básico para executar corretamente o teste A/B. Esperamos que, com algum conhecimento, você pare de deixar que a ansiedade estatística o atrapalhe em sua carreira de marketing e que assuma empreendimentos mais desafiadores: Teste A/B/C.
O teste A/B/C, assim como o teste A/B, é um tipo de experimento controlado. No caso de A/B/C, você testará mais de duas versões (assim adicionando o “C” ao A/B) de uma variável (página web, elemento de página, e-mail, etc.). Isso pode ser usado para comparar 3 ou mais versões de algo para determinar qual versão tem melhor desempenho, como enviar vários e-mails para ver qual gera maior envolvimento ou usar diferentes anúncios para medir as taxas de cliques. Um caso de uso comum é desafiar um grupo padrão ou de controle em relação a variantes diversas. Por exemplo, testar uma página web atual em relação a dois designs de página web alternativos para ver qual design impulsiona mais conversões, o original ou desafiantes.
Como escrevemos antes, há vários testes diferentes que você pode executar, incluindo ferramentas que testam vários componentes ao mesmo tempo. Hoje, iremos avaliar o teste A/B/C simples, comparando três versões em uma medição. Isso pode ser taxas de abertura ou taxas de cliques em e-mails, anúncios ou páginas da web.
A análise de regressão logística binária é usada para descrever a relação entre um conjunto de preditores e uma resposta binária. Uma resposta binária tem dois resultados, como aprovação ou reprovação. No marketing, isso geralmente se traduz em cliques, aberturas ou conversões. Quando você está comparando apenas duas abordagens, existem métodos mais simples, como o teste de duas proporções.
Imagine que um profissional de marketing execute uma campanha publicitária comum nas redes sociais para levar os visitantes ao seu site. Eles decidem executar um teste A/B/C com versões diferentes do anúncio para ver qual deles gerará mais cliques. Eles têm como alvo 20.000 impressões para cada anúncio e executam o teste. Eles coletam os resultados e representando-os em gráficos. Com base no gráfico de valores individuais, fica claro que a Versão A teve um desempenho pior que a Original e a Versão B. A pergunta permanece: as diferenças são estatisticamente significativas para ignorar a versão original?
Com os dados coletados, posso usar a Minitab para ajustar um modelo de regressão logística binária.
Ao acessar Stat > Regression >Binary Logistic Regression > Fit Binary Logistic Model [Iniciar > Regressão > Regressão Logística > Ajuste de Modelo Logístico Binário], a Minitab apresenta uma janela de diálogo para que eu selecione “Response in event/trial format” (Resposta no formato evento/tentativas) e preencha meus eventos (cliques) e tentativas (impressões). Eu também seleciono “Advertisement” (Anúncio) como o item que estou testando e deixo a Minitab criar meu modelo!
Agora precisamos nos aprofundar um pouco em estatística (não muito, apenas um pouco! Você está aqui para aprender algo, não é?). Olhando para a tabela abaixo, vemos a razão de probabilidades que compara as probabilidades de dois eventos, no nosso caso, clicando nos diferentes anúncios. A Minitab configura a comparação listando os níveis em 2 colunas, Nível A e Nível B. O Nível B é o nível de referência para o fator. As razões de probabilidade maiores que 1 indicam que o evento, em nosso caso, os cliques, é mais provável no nível A. As razões de probabilidade menores que 1 indicam que há menos probabilidade de haver um clique no nível A.
Com relação à nossa tabela, comparando a Versão A com a Original, uma razão de probabilidade menor que 1 significa que um clique tem menos probabilidade de acontecer na Versão A. Descendo a tabela, vemos que a Versão B tem maior probabilidade de obter um clique do que a Original e a Versão A. Isso valida A
Ao examinar a segunda coluna, intervalo de confiança de 95%, obtemos insights adicionais sobre nossos dados. Nesses tipos de análise, os intervalos de confiança que contêm 1 dentro de sua faixa (como a Versão B versus a Original, onde o IC de 95% é 0,9882, 1,1038) indicam que as chances de um clique versus nenhum clique são essencialmente as mesmas para os dois grupos.
Como resultado, esse teste nos ensinou que, sem dúvida, a Versão A é o anúncio com pior desempenho e não compensa ser mantido. No entanto, seria um erro substituir automaticamente a Versão B pela Original. Nossas próximas etapas devem ser a) refinar nosso teste para um teste A/B comparando a Original com a Versão B ou b) selecionar a Original ou a Versão B por motivos qualitativos, como “aderir a nossas mensagens consistentes” ou “atualizar nossas mensagens” sem se preocupar em comprometer os resultados.