我之前在文章中提到，营销人员应该（至少）知道一种基本统计方法以正确执行 A/B 测试。希望您在掌握一些相关知识后，能够承担稍微有点难度的工作，别再让统计焦虑阻碍您的营销职业发展：A/B/C 测试。
A/B/C 测试是一种受控实验，与 A/B 测试非常相似。在 A/B/C 测试中，需要对一个变量（网页、页面元素、电子邮件等）的两个以上版本（因此在 A/B 中添加了“C”）进行测试。该测试可用于比较一个变量的 3 个或 3 个以上版本，以确定哪个版本更好，例如，发送多封电子邮件，看看哪个版本的参与度更高，或者采用不同的广告，测算它们的点击率。常见用例之一是，对多个变量设置挑战者“标准组”或“对照组”。比如，对照两个备选网页设计测试当前网页的效果，看看哪种设计的转化率更高，是原始设计还是两个挑战者。
正如我们之前所写的那样，您可以运行许多不同的测试，包括可同时测试多个组件的工具。本次，我们介绍简单的 A/B/C 测试，即在一个测量系统上比较三个版本。测试的可能是电子邮件、广告或网页的打开率或点击率。
二元逻辑回归分析可描述一组预测变量与一个二元响应之间的关系。二元响应有两个结果，例如，通过和失败。在营销中，这通常会变成点击量、打开量或转化量。如果只比较两种方法，可以使用比较简单的方法，如双比率检验。
假设营销人员需要在社交媒体上定期开展广告宣传活动以吸引访客访问他们的网站。于是，他们决定对不同版本的广告执行 A/B/C 测试，看看哪个广告的点击量最多。他们为每个广告设定的目标曝光量是 20,000 次，然后开始测试。他们收集结果并将其绘成图形。从单值图中可以看到，很明显版本 A 比原始版本和版本 B 的效果差。问题依然存在，即从统计学角度来讲，这些差异能否说明可以弃用原始版本？
收集数据后，我可以使用 Minitab 拟合二元逻辑回归模型。
转到统计 > 回归 > 二元逻辑回归 > 拟合二元逻辑模型后，Minitab 将为我显示一个对话窗，可以从中选择“以事件/试验格式响应”，然后填写事件（点击）和试验（曝光量）。我还可以选择广告作为测试项目，让 Minitab 构建模型！
现在，我们需要稍微深入学习一下统计学知识（不多，就一点点！您来这里是为了学习一些东西，不是吗？）。我们从下表中可以看到用于比较两个事件（在本例中是指不同广告的点击）发生概率的优势比。 Minitab 将水平 A 和水平 B 分别放在了两列中来进行比较。水平 B 是因子参考水平。优势比大于 1 表明事件（在本例中是指点击）在水平 A 下发生的概率比较大。优势比小于 1 表明事件（点击）在水平 A 下发生的概率比较小。
在上表中，版本 A 与原始版本相比，优势比小于 1，这表示在版本 A 下发生点击的概率比较小。从该表中可以看到，与原始版本和版本 A 相比，在版本 B 下发生点击的概率比较大。这证实了我们绘制和比较的结果，但是额外的信息在哪里呢？
从第四列“95% 置信区间”中可以更好地了解数据。在这种分析中，置信区间包含 1（例如，在版本 B 与原始版本比较中，95% CI 为 0.9882，1.1038）表明两组发生点击的概率与没有点击的概率基本相同。
因此，这项测试告诉我们，毫无疑问，版本 A 是效果最差的广告，不值得关注。但是，不假思索地使用版本 B 代替原始版本是错误的。我们下一步应该是 a) 将测试细化为 A/B 测试，比较原始版本与版本 B，或者 b) 出于定性原因（例如，“坚持一致的消息传递”或“刷新消息传递”，而不担心影响结果），选择原始版本或版本 B。