과거에는 '통계'라는 단어를 듣고 몸서리를 쳤을 마케터가 있을 수도 있지만, 오늘날 마케팅 전략에 통계 및 분석을 활용하지 않으면 뒤처지게 됩니다.
다행인 점은 데이터를 쉽게 분석할 수 있도록 지원하는 Minitab과 같은 기업이 있다는 것입니다. 아래의 A/B 테스트 예에서 볼 수 있듯이, 통계에 발을 담그는 일이 숫자를 세는 것처럼 쉬워집니다.
A/B 테스트란?
분할 테스트 또는 버킷 테스트라고도 하는 A/B 테스트는 2개 이상의 변수 버전(웹 페이지, 페이지 요소, 이메일 등)을 동시에 서로 다른 대상에게 노출하여 어떤 버전이 가장 큰 영향을 미치는지 확인하는 무작위 실험 프로세스를 말합니다. 이러한 테스트의 예로는 이메일을 여러 번 보내 어떤 이메일이 더 많은 참여를 유도하는지 확인하거나, 서로 다른 광고를 활용하여 클릭률을 측정하거나, 실험군(예: 보통 원본 웹 페이지)과 대조군(예: 새로운 디자인) 간에 웹사이트 트래픽을 나누는 분할 URL 테스트가 있습니다.
A/B 테스트를 위한 간단한 방법
대부분의 마케터는 특정한 형태의 A/B 테스트를 활용합니다. 안타깝게도, 가장 높은 참여를 유도하는 콘텐츠를 파악하려 최선의 노력을 기울이는 대부분의 마케터 조차 결과가 실제 통계적으로 유의한지를 판단하는 가설 검정을 시행하지 않습니다.
A/B 테스트에는 다양한 요소를 동시에 변경하는 다변량 테스트를 비롯한 여러 유형이 있는데, 오늘은 두 그룹을 비교하는 간단한 A/B 테스트를 살펴보겠습니다. 이러한 목적에 가장 적절한 도구는 2-표본 비율 검정이라는 사용하기 쉬운 가설 검정입니다.
예시 1: 이메일 캠페인의 A/B 테스트를 위한 비율 검정 실시
한한 마케팅 담당자가 매달 교육 과정을 홍보하는 이메일 캠페인을 진행한다고 가정해 보겠습니다. 이 이메일의 목적은 교육에 대한 고객의 관심과 인지도를 높이는 것입니다. 이전에 이를 통해 꽤 좋은 성과를 거뒀지만, 여전히 성과를 향상시킬 수 있는 방법을 찾고 있습니다.
이 마케터는 A/B 테스트를 실행하기로 결정합니다. 2,329명의 고객을 대상으로, 고객을 이메일 1과 이메일 2라는 두 그룹으로 나누기로 합니다. 이메일 1의 경우, 지난달에 보낸 동일한 이메일을 그대로 사용해서 약 50%의 고객에게 보냅니다. 나머지 50%는 이메일 2를 전송합니다.
이메일을 보냈고, 이메일 1의 경우 12%의 오픈율(오픈 140)을, 이메일 2의 경우 9.8%의 오픈율(오픈 115)을 보였습니다. 이러면 대부분의 마케터는 이메일 1의 효과가 더 좋다고 생각하게 됩니다.
분석을 활용하여 2.2%(12%-9.8%)의 차이가 통계적으로 유의한지를 파악할 수 있지만, 대부분이 그렇게 하지 않을 것입니다. 빠르고 쉬운 방법으로 이 질문에 답하려면 어디서부터 시작해야 하는지 알지 못하기 때문입니다. 세 번의 클릭과 네 개의 숫자로 차이가 통계적으로 유의한지를 알 수 있습니다!
그 방법은 Minitab의 2-표본 비율 검정을 사용하는 것입니다. 표본 크기, 신뢰 수준 및 확인한 오픈율을 기반으로 이 두 비율이 통계적으로 다른지 알 수 있습니다. 통계분석>기초통계 >두 비율 검정으로 이동하면 Minitab에서 요약된 데이터를 빠르게 계산할 수 있는 대화 상자를 표시합니다. 데이터(오픈에 해당하는 이벤트 및 이메일 수에 해당하는 표본 포함)를 연결하기만 하면 나머지는 Minitab이 알아서 수행합니다.
결론
아래 결과를 보면 95% 신뢰 구간에서 그룹 간의 실제 차이는 0.022(또는 2.2%)로, 0이라 해도 무방합니다. 통계적인 관점에서 이는 '두 비율이 같다는 귀무 가설을 기각하지 못함'을 의미합니다. 즉, 두 그룹은 95% 신뢰 수준에서 통계적으로 다르지 않습니다. 한 이메일은 오픈율이 12%이고 다른 이메일은 오픈율이 9.8%이지만, 이메일로 거둔 성과에는 통계적인 차이가 없습니다. 이러한 이메일이 서로 다른 오픈율을 보인다고 결론짓는 일은 성급할 수 있습니다.
두 비율을 비교하는 것은 A/B 테스트 전략을 최대한 활용할 수 있는 유용한 방법입니다. 마케팅 작업에 분석을 통합하고 팀의 데이터 활용 능력을 향상시켜 궁극적으로 더 나은 의사 결정을 내릴 수 있습니다.
Minitab Statistical Software 30일 무료 평가판으로 데이터를 변환하는 방법을 확인해보세요.
