마케터라면 홍보용 이메일을 보내고 좋은 결과가 있기를 바라는 것이 최선의 방법이 아니라는 사실을 알고 계실 겁니다. 시간을 투자해서 이메일의 성과를 살펴보고 성과를 높이기 위해 취할 수 있는 조치를 파악하는 것이 가장 좋습니다.
조금만 노력하면 두 가지 버전의 마케팅 이메일을 샘플 독자들에게 보내고 성공 지표를 비교한 후 전체 대상에게 최상의 버전을 보낼 수 있습니다. 이렇게 하면 조회율 및/또는 클릭률을 통한 성공 지표로 최상의 버전을 식별할 수 있습니다.
조회율은 이메일을 받은 사람 중 이메일을 열어본 사람의 백분율입니다. 클릭률은 이메일을 받고 메시지에서 하나 이상의 링크를 클릭하여 이메일을 여는 것보다 더 많은 참여를 보여준 연락처의 백분율입니다.
Minitab의 마케팅 팀에서 이러한 방식이 어떻게 작용했는지에 대한 사용 사례를 공유하겠습니다. 저희는 A/B 테스트를 실행하여 이메일의 두 버전을 비교하고 클릭률을 성공 지표로 검토했습니다.
팀은 단계를 간략히 설명하기 위해 프로세스 맵으로 테스트를 문서화했습니다.
프로세스 맵 시작하기 블로그에서 Minitab의 Workspace Software®를 사용한 프로세스 맵에 대해 자세히 알아보기 >
테스트를 실행하기 전에 다음과 같은 질문을 했습니다.
1. 성공 지표를 충분히 정확하게 추정하기 위해 이메일의 두 버전을 테스트하려면 요청된 샘플 크기를 어떻게 정해야 할까?
2. 성공 측면에서 특별한 차이를 감지할 수 있도록 이메일의 두 버전을 어떻게 비교할 수 있을까?
두 질문 모두 성공 지표의 기준이 필요하므로 과거 데이터를 사용하여 추정치를 도출했습니다. 우리는 같은 타겟을 대상으로 한 유사한 마케팅 이메일의 벤치마크 성공 지표가 무엇인지 알고 싶었습니다. 이 예에서 벤치마크는 100,000명 중 이메일에 삽입된 하나 이상의 링크를 클릭한 340명의 독자들과 비슷한 대상에게 전송되는 유사한 이메일이고, 기본 클릭률은 0.34%입니다.
실습에 활용하기:
두 이메일 버전의 성공을 비교하기 위한 표본 크기를 계산하는 첫 번째 방법:
Minitab® Statistical Software의 추정용 표본 크기” 검증을 사용하여 샘플링할 독자 수를 계산하여 특정 오차 범위 내에서 클릭률을 추정할 수 있습니다.
예를 들어, 최소 10배 이상의 모집단, 즉 총 100,000명 이상에서 10,000개의 연락처를 샘플로 정해 보겠습니다. 예상 클릭률이 벤치마크인 0.34%인 경우 95% 수준의 하한은 0.21%이고 상한은 0.47%입니다.
Minitab Statistical Software®에서 통계분석>검정력 및 표본 크기>추정을 위한 표본 크기를 사용하십시오. 클릭률에 대한 95% 신뢰 구간은 0.24%와 0.47% 사이입니다.
표본 크기가 모집단 크기에 비해 작기 때문에 표본 데이터를 모형화하는 이항 분포 또는 초기하 분포는 유사한 결과를 제공합니다. 클릭률에 대한 이 오차 범위가 용납 가능한지 여부를 결정하는 것은 귀하의 선택이며, 이 성공 지표를 충분히 정확하게 예측할 것입니다.
두 이메일 버전의 성공을 비교하기 위한 표본 크기를 계산하는 두 번째 방법:
Minitab Statistical Software의 통계 분석>기초 통계>두 비율 검정 메뉴에 있는 두 비율 검정을 사용하여 필요한 확률 또는 검정력으로 두 이메일 버전의 클릭률 간 특정 차이를 감지하는 데 필요한 표본 크기를 결정할 수 있습니다.
첫 번째 이메일 캠페인의 벤치마크 클릭률은 0.34%입니다. 각 이메일 버전에 대해 10,000개 연락처의 표본 크기를 선택하는 경우 클릭률에서 감지할 수 있는 변화는 90%의 경우에 0.34%에서 0.63%입니다.
통계분석>검정력 및 표본 크기>두 비율 검정을 사용하여 표본 크기를 결정하십시오.
클릭률 간에 더 작은 차이를 감지하려면 표본 크기를 늘려 표본 크기가 검사 민감도에 어떤 영향을 미치는지 확인할 수 있습니다.
자체 비교를 위한 표본 크기를 결정할 준비가 되셨습니까? Minitab Statistical Software 무료 평가판 시작하기 >
전송된 두 이메일 버전의 성공을 비교하는 데 도움이 될 수 있는 통계 검정은 무엇입니까?
이제 검정이 실행되었으므로 결과를 비교하여 최적의 이메일 버전을 선택하겠습니다.
두 버전의 이메일 각각에 대한 전달, 조회 및 클릭 횟수
이 기술 표에서 버전 B의 백분율이 더 높은 것으로 보이지만, 통계 검정을 사용하여 팀이 이 예에서 보고 있는 성공 지표, 즉 클릭률의 차이가 유의한지 확인하는 것이 중요합니다.
통계 검정은 2-불량률(%)이라고 하며 Minitab Statistical Software의 보조 메뉴에서 액세스할 수 있습니다. 일반적으로 이 테스트는 샘플링을 통해 두 모집단의 결함률 차이를 입증하는 데 사용됩니다. 이 예에서 참조 이벤트는 결함이 있는 것이 아니라 클릭입니다. 따라서 결함률이 높다는 것은 클릭률이 높다는 것을 의미합니다.
보조 도구>가설 검정>두 표본을 서로 비교>2-불량률(%)을 사용하여 두 이메일 버전(버전 A와 버전 B)의 클릭률을 비교합니다.
결과물은 데이터를 해석하는 방법에 대한 지침을 제공합니다.
통계 결과에 따르면 데이터는 10% 수준에서 불량률(%), 여기서 버전 A의 클릭률(%)이 버전 B보다 훨씬 낮다는 결론을 내리기에 충분한 증거를 제공합니다.
그 이유는 간단합니다. 각 이메일 버전이 권장되는 10,000명의 독자 표본에 전달되지 않았기 때문입니다. 여러 실제 실험에서와 마찬가지로 테스트를 권장 조건에서 실행할 수 없었습니다.
사용된 표본 크기는 이메일 버전 A와 B의 클릭률에 차이가 있을 때 버전 B의 클릭률이 약 1% 증가하는 것을 감지할 수만 있습니다.
클릭률이 통계적으로 유의하지 않은 것으로 나타났음에도 불구하고 이제 팀은 추가 표본을 선택하여 테스트의 검정력을 높이거나 두 이메일 버전 중 하나를 선택할 수 있습니다. 또한 팀은 비슷한 방법을 사용하여 조회율을 비교하여 비교를 위한 다른 요소를 얻을 수도 있습니다.
A/B 이메일 테스트 또는 A/B/C 이메일 테스트에 대한 자세한 내용은 블로그를 참조하십시오!
